logstash整合kafka

1.启动相关程序

启动zookepper

./bin.zKserver,sh start

启动KafkaServer

./bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 

创建一个topic(详细见Kafka命令解读)

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

2.logstash整合kafka

先甩个官网链接
首先先写logstash配置文件,这里起名file_kafka.conf

input {
 file{
  path=> "/home/hadoop/app/logstash/a.txt"
 }
}

output{
 kafka {
  topic_id => "test"
  bootstrap_servers => "localhost:9092"
 }
}

接下来启动logstash

./bin/logstash -f file_kafka.conf

这样就算成功了

3.测试

接下来测试
首先打开kafka的消费者端

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test 

然后往a.txt里添加数据

查看kafka的消费者端

这时kafka已经以json形式接受到了数据,logstash整合kafka成功