本文主要总结整体思路和kibana自定义图表和Dashboard
整体思路如下:
思路说明:我们的程序或app生成日志后,由Filebeat进行收集,发送到Logstash,Logstash进行分割处理等,处理完后再发送 es中,最后由Kibana进行展示,Kibana展示时可以自定义图表等
一:Elasticsearch及Kibana安装
参考地址:Elasticsearch及Kibana安装_cc_南柯一梦的博客-CSDN博客
二:Logstash安装及使用
参考地址:Logstash安装及使用_cc_南柯一梦的博客-CSDN博客
参考文章中的配置的是直接读取的文件,需要修改配置文件
原日志截图
配置filter说明:用|进行分割,分割后会生成数组, 再添加字段添加到日志中发送给es
input {
beats{
port => "5044"
}
}
filter {
mutate {
split => {"message"=>"|"}
}
mutate {
add_field => {
"cc" => "%{[message][3]}"
"visit" => "%{[message][4]}"
}
}
mutate {
convert => {
"cc" => "string"
"visit" => "string"
}
}
}
output {
elasticsearch {
hosts => ["192.168.231.147:9200"]
}
}
三:Filebeat安装及使用
参考地址:Filebeat安装及使用_cc_南柯一梦的博客-CSDN博客
注意参考文章中filebeat是直接发送到es中,此时我们要修改配置文件,把收集到的日志发送到Logstash,配置如下
四:kibana自定义图表和Dashboard
【1】创建pattern
【2】创建柱形图
1、开始创建
2、可以设置一个时间轴
可以设置读取数据的时间段,统计间隔,刷新时间等
3、进行保存
【3】创建饼图分布
添加字段,设置属性,生成自己想要的饼图
进行保存
【4】数据表格
add我们想要的数据
进行保存
【5】制作Dashboard
点击即可
可以拖动位置,及大小。调整为自己想要的样式
一样也进行保存
这样我们的elk日志管理系统搭建完成了。