ELK+kafka日志收集

一、服务器信息

	版本	部署服务器	用途	备注
JDK	jdk1.8.0_102	使用ELK5的服务器
Logstash	5.1.1	安装Tomcat的服务器	发送日志	Kafka降插件版本
Logstash	5.1.1	kafka03	转换日志格式
Elasticsearch	5.1.1	kafka01、kafka02、kafka03	收集，查询日志
Kibana	5.1.1	kafka03	数据展示
Kafka	0.9	已经存在	缓存日志队列

 

 

 

 

 

 

 

 

 

 

说明：

1. 官方推荐使用Filebeat发送日志，但实际测试中遇到FileBeat卡死的情况，所以还是沿用Logstash发送日志，版本采用最新的5.1.1
   
2. 所有5.1的ELK命令都需要设置JAVA_HOME为JDK1.8的目录
3. Kakfa采用当前已经上线的环境，版本为0.9。因Logstash5.1的Kafka插件不支持0.9版本的kafka，需要对插件进行降级
4. 转换日志端，由于logstash5.1无法安装2.X.X的Kafka插件，4.X.X插件不支持zkconnect输入，所以继续沿用旧的logstash2.3.2
5. 本文档以Tomcat access log和catalina日志为例，使用ELK5进行分析

ELK日志收集如下图：

 

稍后有时间补充详细内容

转载于:https://www.cnblogs.com/lvcisco/p/7754947.html