1.启动相关程序
启动zookepper
./bin.zKserver,sh start
启动KafkaServer
./bin/kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
创建一个topic(详细见Kafka命令解读)
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
2.logstash整合kafka
先甩个官网链接
首先先写logstash配置文件,这里起名file_kafka.conf
input {
file{
path=> "/home/hadoop/app/logstash/a.txt"
}
}
output{
kafka {
topic_id => "test"
bootstrap_servers => "localhost:9092"
}
}
接下来启动logstash
./bin/logstash -f file_kafka.conf
这样就算成功了
3.测试
接下来测试
首先打开kafka的消费者端
./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test
然后往a.txt里添加数据
查看kafka的消费者端
这时kafka已经以json形式接受到了数据,logstash整合kafka成功