Kafka 实战 - Docker部署Kafka

使用 Docker 部署 Apache Kafka 可以简化安装过程，隔离环境依赖，并方便快速构建、扩展和管理 Kafka 集群。以下是在 Linux 环境中使用 Docker 部署单节点或多节点 Kafka 集群的实战步骤：

1. 安装 Docker

确保您的 Linux 系统上已经安装了 Docker。如果没有，请参考官方文档根据您的系统（如 CentOS、Ubuntu、Debian 等）安装 Docker：

• Install Docker Engine

2. 选择合适的 Kafka Docker 镜像

可以选择官方提供的或社区维护的 Kafka Docker 镜像。例如，使用官方的 confluentinc/cp-kafka 镜像，或社区广泛使用的 wurstmeister/kafka 镜像。这里以 wurstmeister/kafka 为例，因为它支持与 ZooKeeper 集成：

docker pull wurstmeister/kafka

3. 配置单节点 Kafka

如果您只需要部署一个独立的 Kafka 节点（包括 ZooKeeper），可以使用以下 docker run 命令直接启动：

docker run -d \
  --name kafka \
  -p 9092:9092 \
  -e KAFKA_ZOOKEEPER_CONNECT=localhost:2181 \
  -e KAFKA_LISTENERS=PLAINTEXT://:9092 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 \
  wurstmeister/kafka

4. 配置多节点 Kafka 集群

对于多节点 Kafka 集群，通常需要单独部署 ZooKeeper 集群，并为每个 Kafka 节点指定不同的 broker ID 和 ZooKeeper 连接地址。以下是一个包含单 ZooKeeper 节点和两个 Kafka 节点的示例：

启动 ZooKeeper

docker run -d \
  --name zookeeper \
  -p 2181:2181 \
  wurstmeister/zookeeper

启动 Kafka 节点

启动第一个 Kafka 节点：

docker run -d \
  --name kafka-1 \
  --link zookeeper:zookeeper \
  -p 9092:9092 \
  -e KAFKA_BROKER_ID=1 \
  -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
  -e KAFKA_LISTENERS=PLAINTEXT://:9092 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 \
  -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=2 \
  wurstmeister/kafka

启动第二个 Kafka 节点：

docker run -d \
  --name kafka-2 \
  --link zookeeper:zookeeper \
  -p 9093:9092 \
  -e KAFKA_BROKER_ID=2 \
  -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
  -e KAFKA_LISTENERS=PLAINTEXT://:9092 \
  -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9093 \
  -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=2 \
  wurstmeister/kafka

注意：

• KAFKA_BROKER_ID 必须唯一。
• KAFKA_ADVERTISED_LISTENERS 应设置为外部客户端可以访问的地址。如果在 Docker 宿主机之外访问，可能需要替换为宿主机的实际 IP 地址。
• 如果需要更高的可用性，可以为 ZooKeeper 配置一个集群，并相应地调整 Kafka 节点的 KAFKA_ZOOKEEPER_CONNECT 参数。

5. 验证部署

使用 docker logs 查看容器日志确认启动成功。然后，可以使用 Kafka 工具（如 kafka-topics.sh、kafka-console-producer.sh、kafka-console-consumer.sh）测试 Kafka 集群的功能：

• 创建主题：

docker exec -it kafka-1 kafka-topics.sh --create --topic test-topic --partitions 3 --replication-factor 2 --if-not-exists --zookeeper zookeeper:2181

• 描述主题以查看其分布：

docker exec -it kafka-1 kafka-topics.sh --describe --topic test-topic --zookeeper zookeeper:2181

• 发送和接收消息：

# 在一个终端窗口中启动生产者
docker exec -it kafka-1 kafka-console-producer.sh --topic test-topic --broker-list localhost:9092,localhost:9093

# 在另一个终端窗口中启动消费者
docker exec -it kafka-1 kafka-console-consumer.sh --topic test-topic --from-beginning --bootstrap-server localhost:9092,localhost:9093

6. 使用 Docker Compose

为了简化管理和配置，您可以使用 Docker Compose 来定义和运行多容器应用程序。创建一个 docker-compose.yml 文件，内容如下：

version: '3'
services:
  zookeeper:
    image: wurstmeister/zookeeper
    ports:
      - "2181:2181"

  kafka-1:
    image: wurstmeister/kafka
    links:
      - zookeeper
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      # ... 其他环境变量 ...

  kafka-2:
    image: wurstmeister/kafka
    links:
      - zookeeper
    ports:
      - "9093:9092"
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181
      # ... 其他环境变量 ...

然后使用 docker-compose up -d 命令启动整个集群。

7. 注意事项

• 在生产环境中，应考虑使用更安全的连接方式，如 SASL 或 SSL 加密。
• 如果需要持久化数据，可以将 Kafka 和 ZooKeeper 的数据目录挂载到宿主机的目录上，避免数据丢失。
• 对于多节点部署，确保网络配置正确，尤其是跨主机通信时的防火墙规则和网络策略。

通过以上步骤，您已经在 Docker 环境中成功部署了 Kafka 单节点或集群，并进行了初步的验证。在实际使用中，还可以结合 Docker Swarm 或 Kubernetes 等容器编排工具进一步提升集群的管理和扩展能力。