11-1 常见日志采集问题和解决方案分析
传统服务
1 固定机器、固定目录
2 不受重启影响
3 不用关注stdout、stderr
k8s中的服务
1 节点不固定
2 重启服务会漂移
3 需关注stdout、stderr
k8s的日志
1 stdout、stderr
默认情况下回存放在/var/lib/docker/containers/<cname>/<cname>-json.log
2 日志文件
重启丢失
sidecar把日志文件转发到后端存储,也会影响pod里的内存 cpu 社区里不推荐使用这种方式.
会侵入pod
这种方式 每个节点只运行了一个agent,资源消耗小
入侵性小,对pod和应用没有侵入
但是要约定所有的日志都挂载到同一个主机目录
并且目录名也要尽量统一,否则难以维护
再者挂载的目录是实现定义好的,导致无法判断日志来自于哪个pod
需要定期清理日志的残留文件
课程实践的方案类似于上面的最后一个方案
一个节点运行一个agent,负责采集日志,转发到后端存储.agent采用阿里开源的logpilot.
es做存储,kibana做展示.
选用logpilot的原因:
别的工具有痛点,需要预先静态的配置好,而容器时动态的经常需要变化.
logpilot 既能够采集容器的标准输出,错误输出,也可以采集容器的文件日志.
logpilot
1智能的容器日志采集工具 可以将容器的标准日志采集到各种后端es kafaka logstash
redis,可以动态的发现并采集容器内部的日志文件
2自动发现机制 通过监听容器的事件 动态的配置日志采集 很好的解决日志重复 日志丢失以及日志标记的问题. 2017年初在github上开源
https://github.com/AliyunContainerService/log-pilot
本质就是在静态日志采集工具上 包了一层,通过回去docker的信息和事件去实现静态工具的动态配置.目前支持2中工具 1cncf社区的fluted插件 2filebeat插件