ELK安装配置学习笔记

第一章 ELK原理

整体结构如下，其中Buffering的Redis/MQ等属于非必须的，Data Collection的Filebeats也可由logstash直接完成。

1.1.Filebeats

FileBeat专门用于转发和收集日志数据的轻量级采集工具。它可以作为代理安装在服务器上，FileBeat监视指定路径的日志文件，收集日志数据，并将收集到的日志转发到Elasticsearch或者Logstash。
启动FileBeat时，会启动一个或者多个输入（Input），这些Input监控指定的日志数据位置。FileBeat会针对每一个文件启动一个Harvester（收割机）。Harvester读取每一个文件的日志，将新的日志发送到libbeat，libbeat将数据收集到一起，并将数据发送给输出（Output）。

1.2.Logstash

Logstash是免费且开放的服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到存储库中。

• Pipeline
  包含了input—filter-output三个阶段的处理流程
  插件生命周期管理
  队列管理