本文详细介绍了Kafka的安装配置过程，包括单节点和多节点集群配置，并展示了如何创建和查看topic，以及启动producer和consumer。接着，文章转向Logstash的安装和测试，最后讲解了如何在Logstash中配置Kafka输入插件，实现Kafka与Logstash的整合，将数据传输到Redis。
1、kafka安装
下载 wget http://mirror.bit.edu.cn/apache/kafka/0.8.2.2/kafka_2.9.1-0.8.2.2.tgz
配置zookeeper vim bin/zookeeper-server-start.sh 根据机器状况更改jvm 内存设置
配置kafka vim bin/kafka-server-start.sh 根据机器状况更改jvm 内存设置
启动zookeeper nohup bin/zookeeper-server-start.sh config/zookeeper.properties &
启动kafka nohup bin/kafka-server-start.sh config/server.properties &
创建topic bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic pay
查看topic bin/kafka-topics.sh --list --zookeeper localhost:2181
启动producer bin/kafka-console-producer.sh --broker-list localhost:9092 --topic pay
启动consumer bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic pay --from-beginning
多broker集群配置：
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.pro
最低0.47元/天 解锁文章
5915
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
