分布式环境下的日志处理架构（ELK）

分布式环境下的日志处理架构（ELK）

一、整体架构设计

• filebeat: 负责日志采集，采集的日志包括服务日志、中间件日志等
• kafka：负责数据缓存
• logstash: 消费kafka的日志，经过过滤后存储到elasticsearch
• elasticsearch: 负责日志存储
• kibana: 负责日志展示

二. 此架构使用的软件及版本如下:

(1) filebeat-6.3.1-linux-x86_64.tar.gz

（2）kafka_2.12-2.0.0.tar

（3）logstash-6.3.1.zip

（4）elasticsearch-6.3.1.zip

（5）kibana-6.3.1-linux-x86_64.tar

以上软件可以到elasticsearch官网下载需要的软件：

https://www.elastic.co/cn/products

三、各组件安装配置

各组件的安装配置见我其他博文

filebeat安装
kafka安装
logstash安装
logstash配置
elasticsearch安装安装
kibana安装