前言:
ELK框架是一种很好日志采集和分析方案,为海量日志分析提供了一种很好的页面可视化方案
1、各组件简介
- Filebeat是日志采集,监控到指定日志文件添加后采集到其配置对应的输出方,轻量级,对被采集的日志和应用无影响,无感知;
- Logstash 可做日志收集和过滤,但由于其相对的重量级(安装包大,运行占内存高等),现有大多只用它过滤日志,而非采集;
- Elasticsearch是搜索引擎,需要做集群处理,也是需要做优化和性能升级的关键组件;
- Kibana是前台展示,目的是将从Elasticsearch中获取到的检索数据可视化展示和操作,它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据;
2、部署方案
方案一(Filebeat + Elasticsearch + Kibana)
架构图:
方案二(Filebeat + Logstash + Elasticsearch + Kibana)
架构图:
方案三(Filebeat + redis + Logstash + Elasticsearch + Kibana)
架构图:
中间件redis、kafka等