【Kafka精进系列003】Docker环境下搭建Kafka集群

在上一节【Kafka精进系列002】Docker环境下Kafka的安装启动与消息发送中我们已经演示了如何在Docker中进行Kafka的安装与启动，以及成功地测试了Kafka消息的发送与接收过程。

在实际生产环境中，Kafka都是集群部署的，常见的架构如下：

Kafka集群由多个Broker组成，每个Broker对应一个Kafka实例。Zookeeper负责管理Kafka集群的Leader选举以及Consumer Group发生变化的时候进行reblance操作。

本文将演示如何在Docker环境中搭建Zookeeper + Kafka集群。

通过本文，你将了解到：

• 如何使用Docker进行Kafka集群搭建；
• 如何使用Docker-compose一键构建Kakfa单节点和集群服务；
• 使用docker-compose down -v解决docker-compose初始化创建topic时无法创建多分区问题记录；

一、Kafka集群搭建

1、首先运行Zookeeper（本文并未搭建ZK集群）：

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

2、分别创建3个Kafka节点，并注册到ZK上：

不同Kafka节点只需要更改端口号即可。

Kafka0：

docker run -d --name kafka0 -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.104:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.104:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

Kafka1：

docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.104:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.104:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

Kafka2：

docker run -d --name kafka2 -p 9094:9094 -e KAFKA_BROKER_ID=2 -e KAFKA_ZOOKEEPER_CONNECT=192.168.0.104:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.104:9094 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9094 -t wurstmeister/kafka

注意：以上节点均需换成自己的IP。

启动3个Kafka节点之后，查看是否启动成功：

这样Kafka集群就算搭建完毕。

3、在Broker 0节点上创建一个用于测试的topic：

在Broker 0上创建一个副本为3、分区为5的topic用于测试。

（Kafka的topic所有分区会分散在不同Broker上，所以该topic的5个分区会被分散到3个Broker上，其中有两个Broker得到两个分区，另一个Broker只有1个分区。该结论在下面将会得到验证。）

cd /opt/kafka_2.12-2.4.0/bin


kafka-topics.sh --create --zookeeper 192.168.0.104:2181 --replication-factor 3 --partitions 5 --topic TestTopic

查看新创建的topic信息：

kafka-topics.sh --describe --zookeeper 192.168.0.104:2181 --topic TestTopic

上面的topic信息是什么意思呢？
上面提到过，“该topic的5个分区会被分散到3个Broker上，其中有两个Broker得到两个分区，另一个Broker只有1个分区”。看了这句话应该就能理解上图中的topic信息的含义。
首先，