docker安装kafka集群

最新推荐文章于 2024-08-01 17:49:43 发布

戴国进

最新推荐文章于 2024-08-01 17:49:43 发布

阅读量7.9k

点赞数

分类专栏： kafka | zookeeper docker

原文链接：https://blog.csdn.net/lblblblblzdx/article/details/80548294

版权

docker 同时被 2 个专栏收录

53 篇文章 30 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

kafka | zookeeper

10 篇文章 1 订阅

订阅专栏

本文介绍了如何使用docker快速在单机上部署kafka集群，包括拉取镜像、启动zookeeper、配置并启动kafka容器，以及创建和检查topic的状态。通过调整参数，可以实现多个broker的复制和分区。

摘要由CSDN通过智能技术生成

1. 拉取镜像

docker pull wurstmeister/zookeeper

docker pull wurstmeister/kafka

2. 启动zookeeper容器

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

3. 启动kafka容器

docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=10.10.17.43:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.10.17.43:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

中间两个参数的10.10.17.43为宿主机器的IP地址，如果不这么设置，可能会导致在别的机器上访问不到kafka

4. 集群搭建
使用docker命令可快速在同一台机器搭建多个kafka，只需要改变brokerId和端口

docker run -d --name kafka1 -p 9093:9093 -e KAFKA_BROKER_ID=1 -e KAFKA_ZOOKEEPER_CONNECT=10.10.17.43:2181 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://10.10.17.43:9093 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

5. 创建Replication为2，Partition为2的topic
在kafka容器中的opt/kafka_2.12-1.1.0/目录下输入

bin/kafka-topics.sh --create --zookeeper 10.10.17.43:2181 --replication-factor 2 --partitions 2 --topic partopic

6. 查看topic的状态
在kafka容器中的opt/kafka_2.12-1.1.0/目录下输入

bin/kafka-topics.sh --describe --zookeeper 10.10.17.43:2181 --topic partopic

输出结果：

Topic:partopic PartitionCount:2 ReplicationFactor:2 Configs:
Topic: partopic Partition: 0 Leader: 0 Replicas: 0,1 Isr: 0,1
Topic: partopic Partition: 1 Leader: 0 Replicas: 1,0 Isr: 0,1

显示每个分区的Leader机器为broker0，在broker0和1上具有备份，Isr代表存活的备份机器。
当停掉kafka1后，

docker stop kafka1

再查看topic状态，输出结果：

Topic:partopic PartitionCount:2 ReplicationFactor:2 Configs:
Topic: partopic Partition: 0 Leader: 0 Replicas: 0,1 Isr: 0
Topic: partopic Partition: 1 Leader: 0 Replicas: 1,0 Isr: 0