基于Docker的Kafka集群搭建

1.pull docker ,在机器上下载最新版本的kafka和zookeeper镜像,这里使用的是wurstmeister的镜像

docker pull wurstmeister/kafka

docker pull wurstmeister/zookeeper

2.装好的docker镜像

3.启动zk容器

Docker run –d –name zookeeper –p 2181:2181 –t wurstmerister/zookeeper

Zk容器命名为zookeeper,端口号2181.

下面先测试一下单节点kafka docker是否好用

4.启动kafka容器

docker run -d --name kafka1 \

 -p 9092:9092 \

 -e KAFKA_BROKER_ID=0 \

 -e KAFKA_ZOOKEEPER_CONNECT=172.21.3.228:2181 \

 -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.21.3.228:9092 \

 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -t wurstmeister/kafka

容器命名为kafka1,指定了broker_id为0,端口号9092,zk地址为本机2181

5.进入kafka容器创建主题

使用docker exec –ti {$name} /bin/bash来进入指定容器

创建一个名为test的主题,一个副本一个分区,须指定zk地址

6.收发送消息

使用kafka-console-producer.sh发送、kafka-console-consumer.sh接收消息。都需要指定broker的地址

测试结果如图所示,单机情况下能够正常收发消息,下面测试基于docker的集群搭建

7.搭建集群

使用docker命令可快速在同一台机器启动多个kafka,只需要改变brokerId和端口即可用于搭建集群

启动第二个kafka容器命名为kafka2,其zk地址与kafka1一致,broker_id为1,服务端口号为9093

然后进入kafka容器创建第二个topic名为test2,副本数2,分区2

查询test2主题可以看到,已经是集群环境,可以看到leader机器、副本在分区上的保存情况,和ISR列表成员

8.集群收发消息

测试一下使用kafka1发送消息,kafka2接收消息

如图所示,可以正常发送和接收

9.关闭kafka2后查看集群状态

可以看到分区的leader机都变成了broker0(即kafka1),ISR列表中只有broker0

 

除了手动命令行搭建集群,还可以用k8s 配合yml文件快捷的搭建集群

详情见另一篇博文https://blog.csdn.net/playadota/article/details/84784073

评论 6 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:编程工作室 设计师:CSDN官方博客 返回首页

打赏作者

金陵吴彦祖

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值