kafka集群配置及运行

前言

• 三台centos
• 版本kafka_2.11-2.2.1
• 已提前配置好zookeeper，配置博客

三台机器均修改配置文件${KAFKA_HOME}/config/server.properties

#broker的全局唯一编号，可以随便写但机器之间不能重复，master为0，slave1为1，slave2为2
broker.id=0
#zookeeper列表
zookeeper.connect=master.wsxiot.cn:2181,slave1.wsxiot.cn:2181,slave2.wsxiot.cn:2181/kafka
#日志文件存放位置，默认为tmp目录，重启后就消失
log.dirs=/var/lib/kafka
listeners=PLAINTEXT://{{IP}}:9092
auto.create.topics.enable=false

在每台机器上，切换工作目录为${KAFKA_HOME}，启动kafka

bin/kafka-server-start.sh -daemon config/server.properties

在master上，切换工作目录为${KAFKA_HOME}，创建topic

#kafka0和kafka1的命令
bin/kafka-topics.sh --create --zookeeper localhost:2181/kafka --replication-factor 1 --partitions 1 --topic test
#kafka2的命令
bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

在master上，切换工作目录为${KAFKA_HOME}，启动producer

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

在master上，新开一个命令行，切换工作目录为${KAFKA_HOME}，启动consumer

#kafka0和kafka1的命令
bin/kafka-console-consumer.sh --zookeeper localhost:2181/kafka --topic test --from-beginning
#kafka2的命令
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning