filebeat—》kafka《----logstash indexer----》ES master ------》ES node
filebeat安装在要收集日志的应用服务器中,filebeat收集到日志之后传输到kafka中,logstash通过kafka拿到日志,在由logstash传给后面的es,es将日志传给后面的kibana,最后通过kibana展示出来。
组件介绍:
1、Elasticsearch 只搜索和分析日志
2、Logstash 只收集和过滤日志,和改格式
3、Kibana 提供Web 界面,汇总、分析和搜索重要数据日志
4、Kafka 数据缓冲队列
5、zookeeper 为分布式系统提供一致性服务
6、Filebeat 轻量级数据收集引擎