ELK日志实时分析

書盡

已于 2022-11-15 14:43:04 修改

阅读量1k

点赞数 2

分类专栏：大数据学习文章标签： elk kafka 大数据

于 2022-11-15 14:41:21 首次发布

本文链接：https://blog.csdn.net/weixin_51309151/article/details/127864688

版权

大数据学习专栏收录该内容

21 篇文章 2 订阅

订阅专栏

项目实训报告：ELK日志实时分析

任务目标

使用filebeat采集日志数据，通过kafka将数据传输给logstash进行过滤，最后输出到Elasticsearch绘制数据图表。
数据说明

实施步骤

将数据上传到家目录（/home/hadoop）（系统中已经存在，不用上传）
删除以前filebeat中的数据文件：

cd /usr/local/filebeat/data
rm -r regsitry

在这里插入图片描述

编写filebat配置文件，采集家目录下名为access_2018_05_01.log的数据文件

cd /usr/local/filebeat

vim filebeat.yml
# 修改以下配置
filebeat.inputs:
 - type: log
   enabled: true
   paths:
     - /home/hadoop/access_2018_05_01.log
output.kafka:
   hosts: ["localhost:9092"]
   topic: "applog"
processors:
- drop_fields:
   fields: ["beat", "input", "source", "offset"]

在这里插入图片描述

启动kafka进程，并启动filebeat

cd /usr/local/kafka
./bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties

在这里插入图片描述

修改kafka配置文件

cd /usr/local/kafka/config/
vim server.properties
# 按照如下内容修改配置文件
listeners=PLAINTEXT://localhost:9092

在这里插入图片描述

启动kafka

cd /usr/local/kafka
./bin/kafka-server-start.sh -daemon ./config/server.properties
jps

在这里插入图片描述

启动filebeat

cd /usr/local/filebeat/
./filebeat -e -c filebeat.yml 
 #不要关闭此窗口，方便调试

在这里插入图片描述

配置Logstash接收kafka数据，并匹配日志文件中的详细指标，使用geoip取出IP地址的地理位置信息，并将结果输出到Elasticsearch。

cd /usr/local/logstash/

vim logstash-plain-map.conf   
#配置文件内容如下

input{  
 kafka{    
   bootstrap_servers=> "localhost:9092"    
   topics => ["applog"]    
   group_id => "logstash-file"    
   codec => "json"
}
}
filter{  
  grok{         
 			match => {               
"message" => "%{IPORHOST:clientip} %{HTTPDUSER:ident} %{HTTPDUSER:auth} \[%{HTTPDATE:timestamp}\] \"%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})\" %{NUMBER:response}\ %{NUMBER:bytes}"         
		}
}             
	geoip {     
	source => "clientip"     
	database => "/home/hadoop/GeoLite2-City.mmdb"
}
}
output{     
	elasticsearch {      
	 hosts => ["localhost:9200"]      
	 index => "logstash-logs-2022"    
}            
		stdout{            
			codec => rubydebug       
		 }   
 }

启动Elasticsearch

cd /usr/local/elasticsearch-6.1.0/
./bin/elasticsearch   
#此窗口不要关闭，方便调试

新建一个终端窗口，运行Logstash分析软件

cd /usr/local/logstash
logstash -f ./logstash-plain-map.conf

启动Kibana，在任意终端输入

kibana

然后访问[虚拟机IP地址]:5601, 点击Management，然后选择“Create index pattern", 在”Index pattern" 栏中输入“logstash-logs-2020"，点击"Next step"
设置时间过滤器字段名称，选择@timestamp 点击 “Create index pattern” .