ELK 日志收集与分析平台的搭建与优化

ELK 日志收集与分析平台的搭建与优化

话不多说，先上图！

最近因为公司需要，与部门的小伙伴着手构建 ELK 日志收集分析平台，期间学到了很多东西，准备等完成项目差不多了跟大家分享一下心得，先立个flag！

一、ELK整体架构

整个架构分为filebeat轻量级日志采集（生产者） > kafka+zookeeper（集群）消息队列 > logstash数据传输过滤（消费者）> Elasticsearch（集群）搜集分析存储数据 > kibana 可视化Web 界面。

二、各部分配置文件分析

1.filebeat

2.kafka+zookeeper（集群）

3. logstash

4. es（集群）

5. kibana 可视化Web 界面

三、结合业务需求进行优化

四、碰到的问题

五、总结

破解x-pack