Fliebeat+Kafka+Elasticsearch+Logstash日志分析实战

一、ELK Stack 架构

1、ELK Stack简介

ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。

Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能；

Logstash：数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；

Kibana：数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示；

Filebeat隶属于Beats。目前Beats包含以下几种种工具：

• filebeat（搜集日志文件）
• Metricbeat（将系统和服务的指标和统计数据(例如 CPU、内存、Redis 等等)发送至 Elasticsearch(或 Logstash)）
• Packetbeat（搜集网络流量数据）
• Winlogbeat（搜集 Windows 事件日志数据）
• Auditbeat（收集 Linux 审计框架数据,对消息进行解析和标准化,并检测文件的完整性）
• Topbeat（