Kafka与logstash数据交互

我们在采集大量数据的时候可以需要对数据进行一些处理，logstash强于flume的一点功能就是logstash有个filter，他可以对数据进行处理。这里介绍kafka如何与logstash进行数据交互。

Kafka数据进logstash

创建配置文件  inputkafka.conf

 

input{
    kafka{
        codec => "plain"
        group_id => "logstash1"
        auto_offset_reset => "smallest"
        reset_beginning => true
        topic_id => "test4"
        zk_connect => "192.168.5.128:42182"
    }
}
output {
     stdout{
         codec => rubydebug
     }
}

 

 

 

 

 

启动logstash  

      ./logstash  -f  inputkafka.conf

启动后控制台会打印出test4中的消息。

logstash数据进kafka

创建配置文件  outputkafka.conf

 

input  {
     stdin{}
}
output {
     kafka{
         topic_id => "test4"
         bootstrap_servers => "192.168.5.128:9092"
         batch_size => 5
     }
     stdout{
         codec => rubydebug
     }
}

 

 

 

 

 

启动logstash  

      ./logstash  -f  outputkafka.conf

启动后在控制台输入“hello word”，然后查看kafka中是否已经录入数据。

 

关于elasticsearch集群部署安装

关于logstash-kafka-elasticsearch

关于kafka-logstash-elasticsearch

 

---
更多文章关注公众号