elk——kafka

Elk E=
ElasticSeach（存储日志信息）
l Logstash(搬运工)
K Kibana连接到我们ElasticSeach图形化界面查询日志
Elk+kafka

Elk采集日志的原理：

1. 需要在每个服务器上安装Logstash（搬运工）
2. Logstash需要配置固定读取某个日志文件
3. Logstash将我们的日志文件格式化为json的格式输出到es中
4. 开发者使用Kibana连接到ElasticSeach 查询存储日志内容。

为什么需要将日志存储在ElasticSeach 而不是mysql中呢
ElasticSeach 底层使用到倒排索引 搜索日志效率

为什么需要使用elk+kafka

1.如果单纯的使用elk的话，服务器节点扩容 需要每个服务器上安装我们Logstash步骤比较冗余。
2. Logstash读取本地日志文件，可能会对本地的磁盘io性能会有一定影响。

提高效率Logstash集群