FK-ELK日志架构系列,即Fluentd(Filebeat) -> Kafka -> Logstash -> Elasticsearch -> Kibana。
该系列后续会不断完善架构及部署和配置过程。目前该套日志架构是部署在K8S之上的,所以主要介绍容器的部署及配置。
该系列目录:
- 日志采集(docker):Fluentd的部署及配置
- 日志采集(VM):Filebeat的部署及配置
- 日志转发:Kafka的部署及配置
- 日志消费:Logstash的部署及配置
- 日志存储:ES的部署及配置
- 日志展示:Kibana的部署及配置
1. 总体架构图
2. 总体架构说明
采集层:docker容器日志采用Fluentd,VM日志采用Filebeat
收集层:kafka + ZK
消费层:Logstash
存储层:ES(实时数据) + HDFS(历史数据)
展现层:Kibana
后续会对各层的设计及部署进行详细的介绍,如果你感兴趣的话,可以留言,一起交流学习。