Kuberentes日志收集

日志类型及采集方式

针对标准输出（云原生推荐日志输出方式）：以DaemonSet方式在每个Node上部署一个日志收集程序，采集/var/lib/docker/containers目录下所有容器日志

针对容器中日志文件：在Pod中增加一个容器运行日志采集器（sidecar模式），使用emptyDir共享日志目录，让日志采集器读取到日志文件

日志收集方案

ELK/EFK

• Elasticksearch
• Logstash
• Kibana
• Beats
• Fluentd

EFK日志收集链路：Fluentd-->Elasticksearch-->Kibana

ELK日志收集链路：Filebeat-->Kafka-->Logstash-->Elasticksearch-->Kibana

Logstash、Filebeat、Fluentd说明

FileBeat支持的输出接口：File/kafka/ES/redis/console/logstash

Fluentd支持的输出接口：File/http/kafka/ES/mongo

Logstash和Filebeat都具有日志收集功能，filebeat更轻量，占用资源更少，但logstash具体filter功能，能过滤分析日志。一般结构都是filebeat采集日志，然后发送到消息队列，如redis、kafka，然后logstash去获取，利用filter功能过滤分析，然后存储到elasticsearch。