ELK 日志收集与分析平台的搭建与优化
话不多说,先上图!
最近因为公司需要,与部门的小伙伴着手构建 ELK 日志收集分析平台,期间学到了很多东西,准备等完成项目差不多了跟大家分享一下心得,先立个flag!
一、ELK整体架构
整个架构分为filebeat轻量级日志采集(生产者) > kafka+zookeeper(集群)消息队列 > logstash数据传输过滤(消费者)> Elasticsearch(集群)搜集分析存储数据 > kibana 可视化Web 界面。
二、各部分配置文件分析
1.filebeat
2.kafka+zookeeper(集群)
3. logstash
4. es(集群)
5. kibana 可视化Web 界面
三、结合业务需求进行优化
四、碰到的问题
五、总结
破解x-pack