ELFK集群部署与Logstash的过滤模块

ELFK集群部署与Logstash的过滤模块

一、ELFK集群部署（Filebeat+ELK）

Filebeat

• 轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。
• 常应用于 EFLK 架构当中。（如果要使用过滤功能的话，Filebeat不能完全替代logstash，Filebeat没有过滤功能，收集数据后需要发送给 logstash 进行处理）

filebeat 结合 logstash 带来好处：

1. 通过 Logstash 具有基于磁盘的自适应缓冲系统，该系统将吸收传入的吞吐量，从而减轻 Elasticsearch 持续写入数据的压力。
2. 从其他数据源（例如数据库，S3对象存储或消息传递队列）中提取。
3. 将数据发送到多个目的地，例如S3，HDFS（Hadoop分布式文件系统）或写入文件。
4. 使用条件数据流逻辑组成更复杂的处理管道。

部署环境：
node1节点（2C/4G）：192.168.44.20 （Elasticsearch）
Node2节点（2C/4G）：192.168.44.30 （Elasticsearch）
Apache节点：192.168.44.40 （Logstash Kibana Apache）
Filebeat节点：192.168.44.40 （Filebeat）

1.1 部署ELK集群

ELFK集群环境下，Logstash 组件所在节点的/etc/logstash/conf