》brew install kafka
4. 配置config/server.properties
broker.id为依次增长的:0、1、2、3、4,集群中唯一id
log.dirs设置到大硬盘路径下
num.network.threads
num.partitions ,默认分区数
num.io.threads 建议值为机器的核数;
zookeeper.connect 设置为zookeeper Servers 列表,各节点以逗号分开;
producer.properties的配置:
metadata.broker.list=master:9092,slave1:9092
consumer.properties的配置:
zookeeper.connect=master:2181,slave1:2181
启动集群:
bin]# ./kafka-server-start.sh ../config/server.properties
创建topic
bin]# ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topic
列出topic
bin]#./kafka-topics.sh --list --zookeeper localhost:2181
产生数据
bin]#./kafka-console-producer.sh --broker-list localhost:9092 --topic topic消费数据bin]#./kafka-console-consumer.sh --zookeeper hrs-hadoop:2181 --from-beginning --topic topic