kafka单节点多broker部署及使用

kafka单节点多broker部署及使用

参考单节点单broker部署的文章
https://blog.csdn.net/weixin_43451620/article/details/105573713

将配置文件server.properties复制三份
cp server.properties server-1.properties
更新配置文件 server-1.properties 中参数
broker.id=1
listeners=PLAINTEXT://hadoop001:9093
log.dirs=/usr/soft/data/kafka-logs-1
cp server.properties server-2.properties
更新配置文件 server-2.properties 中参数
broker.id=2
listeners=PLAINTEXT://hadoop001:9094
log.dirs=/usr/soft/data/kafka-logs-2
cp server.properties server-3.properties
更新配置文件 server-3.properties 中参数
broker.id=3
listeners=PLAINTEXT://hadoop001:9095
log.dirs=/usr/soft/data/kafka-logs-3

启动kafka自带的zookeeper
./zookeeper-server-start.sh …/config/zookeeper.properties

后台启动的三个kafka
./kafka-server-start.sh -daemon …/config/server-1.properties &
./kafka-server-start.sh -daemon …/config/server-2.properties &
./kafka-server-start.sh -daemon …/config/server-3.properties &

–创建topic
./kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

–描述topic
./kafka-topics.sh --describe --zookeeper hadoop001:2181 --topic my-replicated-topic

据图，可以看到我们成功创建了topic

启动生产者
./kafka-console-producer.sh --broker-list hadoop001:9093,hadoop001:9094,hadoop001:9095 --topic my-replicated-topic

启动消费者
./kafka-console-consumer.sh --bootstrap-server hadoop001:9093 --from-beginning --topic my-replicated-topic

**注意：**在生产者客户端输入内容，在消费者客户端未收到消息。了解到，kafka的默认端口是9092，我们将创建的topic my-replicated-topic 删除
./kafka-topics.sh --delete --zookeeper hadoop001:2181 --topic my-replicated-topic

杀掉一起动kafka的进程，重新启动3个kafka进程，
./kafka-server-start.sh -daemon …/config/server.properties &
./kafka-server-start.sh -daemon …/config/server-1.properties &
./kafka-server-start.sh -daemon …/config/server-2.properties &

–创建topic
./kafka-topics.sh --create --zookeeper hadoop001:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

启动生产者
./kafka-console-producer.sh --broker-list hadoop001:9092,hadoop001:9093,hadoop001:9094 --topic my-replicated-topic

启动消费者
./kafka-console-consumer.sh --bootstrap-server hadoop001:9092 --from-beginning --topic my-replicated-topic

在生产者控制台输入内容

会在消费者控制台收到消息

总结，kafka的默认端口号是9092，所以此次部署一定要启动
./kafka-server-start.sh -daemon …/config/server.properties &