Logstash(6.3.0)之输出到kafka|第五章-yellowcong

输出日志信息到kafka的服务器，然后进行消费处理。

配置输出到kafka

这个地方，我的kafka机器是192.168.112.12:9092，需要导入到test 这个topic种，这个地方，我输出到了file,kafka,stdout的三个地方了。

input{
        file {
                path => "/usr/local/log_test/*.log"
                start_position => "beginning"
        }
}
output {
        file {
                path => "/path/to/%{+yyyy}/%{+MM}/%{+dd-HH}-%{host}.log"
         }
        kafka{
                bootstrap_servers => "192.168.112.12:9092"
                codec => json
                topic_id => "test"
                 compression_type => "snappy"
         }
         stdout {
           codec => rubydebug
         }
}

参数说明

compression_type 这个是压缩方式，可以设定为”none”, “gzip”, “snappy”, “lz4”

启动服务

参考文章

https://www.elastic.co/guide/en/logstash/current/plugins-outputs-kafka.html
https://www.cnblogs.com/Orgliny/p/5730381.html