本文介绍kafka数据进logstash,经过filter处理后,数据进elasticsearch。
文档版本:
kafka_2.11-0.9.0.0
logstash-2.2.0
elasticsearch-2.2.0
与一些老版本连接方法有所不同,logstash-2.2.0中已经提供了连接kafka和elasticsearch的插件,无需再进行插件安装。
下面介绍连接方法:
1. 创建配置文件 logstash.conf
input{
kafka{
codec => "plain"
group_id => "logstash1"
auto_offset_reset => "smallest"
reset_beginning => true
topic_id => "test4"
zk_connect => "192.168.5.128:2181"
}
}
output{
elasticsearch{
hosts => ["hadoop0:9200","hadoop1:9200","hadoop2:9200","hadoop3:9200"]
index => "topbeat-%{+YYYY.MM.dd}"
flush_size => 20000
idle_flush_time => 5
}
}
配置文件中没有指定filter,而filter的过程就是我们对数据进行处理的过程,可根据需要自行开发。
说明:index表示写入elasticsearch时的索引,比如示例即表示索引名为topbeat-yyyy.MM.dd ,这里的时间取自@timestamp字段。【如何修改@timestamp字段时间为日志记录时间】
2. 启动logstash
./logstash -f logstash.conf
关于logstash-kafka-elasticsearch
---
更多文章关注公众号