ElasticSearch | 用 ELK 做日志管理

Filebeat | 简介

Filebeat 用来读取日志文件，保证数据至少被读取一次，可以处理多行数据，解析 JSON 格式，做简单的过滤，但是 Filebeat 不会做深度的解析和加工；日志是非结构化的数据，需要进行处理后，以结构化的方式保存到 ElasticSearch 中。

Filebeat | 执行流程

• 定义数据类型：通过 filebeat.yml 对 Prospector 进行配置，定义如何到机器上对数据进行读取；
• 建立数据模型：为写入 ElasticSearch 的数据设计 Index Template；
• 建立数据处理流程：Filebeat 是不对数据做处理的，可以通过 Ingest Pipeline 对写入的数据做处理；
• 存储数据并提供可视化的分析：ElasticSearch + Kibina Dashboard；