elasticsearch+Logtash+filebeat实现日志的收集存储
elasticsearch,logtash,filebeat 的安装去官网(https://www.elastic.co/cn/elastic-stack)下载对应版本的压缩包,在window下解压即可使用,这里就不多做介绍了,window下载window的,linux下载linux的。
如果不会如何SpringBoot打印日志,请看https://blog.csdn.net/weixin_44012722/article/details/105778261
1、FileBeat
1.1 去解压目录下的filebeat.yml修改配置文件
2.Logstash
2.1 去解压目录下的config目录下复制logstash-sample.conf到bin目录下,并改名为logstash.conf,修改其内容 (记得把我中文注释删掉否则会报错,我只是方便你们看而已)
input {
beats {
port => 5044 /Logstash暴露的/端口
}
}
filter {
//过滤器的一种还有一个gock可以去了解
mutate {
split => ["message"," == "] //把信息以 == 分割
add_field => { //分割后的字符串数组设置对应的字段名
"time" => "%{[message][0]}"
}
add_field => {
"level" => "%{[message][1]}"
}
add_field => {
"thread" => "%{[message][2]}"
}
add_field => {
"class" => "%{[message][3]}"
}
add_field => {
"message" => "%{[message][4]}"
}
}
}
output {
elasticsearch {
hosts => ["http://localhost:9200"]
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" //设置索引名
#user => "elastic"
#password => "changeme"
}
}
3.elasticsearch下载可以使用了(注意他依赖jdk所以对应的不同版本elasticsearch对应不同版本的jdk,可以去官网看)
4.开始启动测试
//去到elasticsearch目录下的bin,启动elasticsearch
elasticsearch
//去logstash目录下的bin,启动logstash
logstash -f logstash.conf
//去filebeat目录下,启动filebeat
filebeat -e -c filebeat.yml
5.启动要点时间,启动完成后,启动springboot日志打印,过一会去elasticsearch-head(一款Chrome的插件)查看,或者通过http请求获得elasticsearch中的数据,elasticsearch是支持restful接口服务
6.另一个可视化工具是Kibana,也是去ELK官网下载解压即可(注意因为Kibana是依赖JDK和NodeJs,所以要有这两个的环境的安装)
6.1 修改Kinbana的config下的kibana.yml,把这三个注释去掉
去bin目录下点击Kibana启动
访问http://localhost:5601
7.具体如何使用看着篇博客
https://www.cnblogs.com/lazycxy/archive/2019/08/28/11423066.html
数据成功收集到了elasticsearch中!!!
一键查询淘宝/拼多多内部优惠券,每日大额外卖红包,购物省钱的宝藏工具