缘由:由于某某某种原因,反正就是很简单的原因(其实就是穷),决定要把我们线上的日志不写ES了,在部门技术扛把子的一顿操作下就换成写本地文件了。
最后修改成的版本如下,假装写一个博客记录一下。
input
{
kafka
{
bootstrap_servers => "10.7.1.111:9092"
topics => "test.jk.com"
codec => "json"
}
}
filter
{
date
{
match => ["message","UNIX_MS"]
target => "@timestamp"
}
ruby
{
code => "event.set('timestamp', event.get('@timestamp').time.utc+8*60*60)"
}
ruby
{
code => "event.set('@timestamp',event.get('timestamp'))"
}
mutate
{
remove_field => ["timestamp"]
}
}
output
{
file
{
path => "/home/catlog/output/%{[fields][tag]}/%{+YYYY-MM-dd}/out_%{+YYYY-MM-dd-HH}.log"
codec => line { format => "%{message}"}
}
}
日志流向:filebeat----kafka----logstash--直接写文本文件,以后就可以好好的看日志了!