kubectl logs和docker logs输出日志不同的问题

kubectl logs用来查询pod日志
docker logs用来查询容器日志

问题描述

但是近期在分析日志时发现一个问题，kubectl logs查询pod日志输出的不全，和对应容器docker logs查询输出的日志相去甚远，kubectl logs查询出来的日志比查询容器日志少了将近三分之一。
而且容器的日志也会出现丢失的现象，日志并不是从容器启动的那一刻开始记录的，貌似部分日志被清理了。

问题分析

首先，当看到kubectl logs输出的日志的时候，就觉得不对，开始时间就有问题，没有pod启动时的日志，日志最早的日期也就几天前，而pod启动了都几个周了。
于是通过kubectl describe pod查看pod具体的启动node和containerId，然后到具体的node节点上使用docker logs来查看容器的日志。
然后发现docker logs打印的日志的确比kubectl logs多一些，但是容器刚启动那个时间点的日志也没有。
于是我们就到/var/lib/docker/containers/{containerId}/这个具体的目录中查询具体情况，发现了3个json格式的日志文件，两个归档文件都是9.8M。
此时，才想起去看一下daemon.json的配置。

问题原因：

问题出现的原因是在/etc/docker/daemon.json的配置上，daemon.json可以配置docker容器标准输出日志文件个数和每个文件的大小的，配置如下：

{
...
 "log-driver": "json-file",
  "log-level": "warn",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
    },
...
}

上面的配置声明了docker容器标准输出只能保存3个文件，每个文件上限是10M，超过这个阈值的日志都会被清理。

明白了上面的配置声明后，再回头来看kubectl logs查询出来的日志比docker logs查询容器日志少的问题，这主要是docker容器标准输出分为3个文件，而超过10M后会进行归档，而kubectl logs查询时，无法显示另外两个归档文件中的日志。
而容器日志不是从容器启动那一刻开始记录的，只是因为日志的大小已经超过了3*10M的阈值了，日志被清理了，所以也就无法查询到容器刚启动那一刻的日志。