kafka-logstash-elasticsearch

本文介绍kafka数据进logstash，经过filter处理后，数据进elasticsearch。

 

文档版本：

kafka_2.11-0.9.0.0

logstash-2.2.0

elasticsearch-2.2.0

与一些老版本连接方法有所不同，logstash-2.2.0中已经提供了连接kafka和elasticsearch的插件，无需再进行插件安装。

 

下面介绍连接方法：

1. 创建配置文件  logstash.conf

 

input{
    kafka{
        codec => "plain"
        group_id => "logstash1"
        auto_offset_reset => "smallest"
        reset_beginning => true
        topic_id => "test4"
        zk_connect => "192.168.5.128:2181"
    }
}
output{
     elasticsearch{
     hosts => ["hadoop0:9200","hadoop1:9200","hadoop2:9200","hadoop3:9200"]
     index => "topbeat-%{+YYYY.MM.dd}"
     flush_size => 20000
     idle_flush_time => 5
     }
}

 

 

 

 

 

配置文件中没有指定filter，而filter的过程就是我们对数据进行处理的过程，可根据需要自行开发。

说明：index表示写入elasticsearch时的索引，比如示例即表示索引名为topbeat-yyyy.MM.dd ，这里的时间取自@timestamp字段。【如何修改@timestamp字段时间为日志记录时间】

2. 启动logstash    

      ./logstash  -f  logstash.conf

 

关于elasticsearch集群部署安装

关于logstash-kafka-elasticsearch

 

---
更多文章关注公众号