docker部署kafka集群(多台服务器)

最新推荐文章于 2024-06-03 19:29:05 发布
最新推荐文章于 2024-06-03 19:29:05 发布
阅读量5.1k 收藏 17
点赞数 5
分类专栏： linux 文章标签： devops
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42715225/article/details/116922831
版权
前言

… …

概述

在实际生产环境中，kafka都是通过集群方式部署，常见的架构如下所示
在这里插入图片描述

Kafka集群由多个Broker组成，每个Broker对应一个Kafka实例；Zookeeper负责管理Kafka集群的Leader选举以及Consumer Group发生变化的时候进行reblance操作

搭建kafka集群

使用三台服务器部署zookeeper、kafka服务，部署节点的服务详见如下:

主机IP服务备注
10.0.0.95zoo1、kafka1、kafka-managerkafka-manager为管理kafka服务的应用
10.0.0.187zoo2、kafka2
10.0.0.115zoo3、kafka3
  • 采用docker的host网络模式，使其容器服务的网络全暴露于宿主机上，不然，采用容器形式部署的服务，不能在多台宿主机上部署kafka集群
部署

因kafka需要配合zookeeper服务(这里直接搭建zookeeper集群)使用，故同时部署服务，或者接入已经部署好的zookeeper服务

  • 在主机IP为10.0.0.95服务器上部署zoo1、kafka1、kafka-manager应用服务
    kafka-manager服务使用，这里暂不做更多的赘述
~]# mkdir -p /data/deploy/kafkaCluster
~]# cd /data/deploy/kafkaCluster/
kafkaCluster]# cat > docker-compose.yml <<-EOF
version: '3.1'
services:
  zoo1:
    image: wurstmeister/zookeeper
    restart: always
    hostname: zoo1
    container_name: zoo1
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    volumes:
      - /data/wangzunbin/volume/zkcluster/zoo1/data:/data:Z
      - /data/wangzunbin/volume/zkcluster/zoo1/datalog:/datalog:Z
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=10.0.0.95:2888:3888;2181 server.2=10.0.0.187:2888:3888;2181 server.3=10.0.0.115:2888:3888;2181
    network_mode: host

  kafka1:
    image: wurstmeister/kafka
    restart: always
    hostname: kafka1
    container_name: kafka1
    ports:
      - 9092:9092
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 10.0.0.95
      KAFKA_HOST_NAME: 10.0.0.95
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: 10.0.0.95:2181,10.0.0.187:2181,10.0.0.115:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://10.0.0.95:9092
      KAFKA_LISTENERS: PLAINTEXT://10.0.0.95:9092
    volumes:
      - /data/wangzunbin/volume/kfkluster/kafka1/logs:/kafka:Z
    network_mode: host
EOF
kafkaCluster]# docker-compose up -d
kafkaCluster]# mkdir -p /data/deploy/kafkaCluster/kafka-mamager
kafkaCluster]# cd /data/deploy/kafkaCluster/kafka-mamager
kafka-mamager]# cat > docker-compose.yml <<-EOF
version: '3.1'
services:
  kafka-manager:
    image: sheepkiller/kafka-manager
    restart: always
    hostname: kafka-manager
    container_name: kafka-manager
    ports:
      - 9000:9000
    environment:
      ZK_HOSTS: 10.0.0.95:2181,10.0.0.187:2181,10.0.0.115:2181
      KAFKA_BROKERS: 10.0.0.95:9092,10.0.0.187:9092,10.0.0.115:9092
      APPLICATION_SECRET: letmein
      KM_ARGS: -Djava.net.preferIPv4Stack=true
    network_mode: host
kafka-mamager]# docker-compose up -d
  • 在主机IP为10.0.0.187服务器上部署zoo2、kafka2应用服务
~]# mkdir -p /data/deploy/kafkaCluster
~]# cd /data/deploy/kafkaCluster/
kafkaCluster]# cat > docker-compose.yml <<-EOF
version: '3.1'
services:
  zoo2:
    image: wurstmeister/zookeeper
    restart: always
    hostname: zoo2
    container_name: zoo2
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    volumes:
      - /data/wangzunbin/volume/zkcluster/zoo2/data:/data:Z
      - /data/wangzunbin/volume/zkcluster/zoo2/datalog:/datalog:Z
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=10.0.0.95:2888:3888;2181 server.2=10.0.0.187:2888:3888;2181 server.3=10.0.0.115:2888:3888;2181
    network_mode: host

  kafka2:
    image: wurstmeister/kafka
    restart: always
    hostname: kafka2
    container_name: kafka2
    ports:
      - 9092:9092
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 10.0.0.187
      KAFKA_HOST_NAME: 10.0.0.187
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: 10.0.0.95:2181,10.0.0.187:2181,10.0.0.115:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://10.0.0.187:9092
      KAFKA_LISTENERS: PLAINTEXT://10.0.0.187:9092
    volumes:
      - /data/wangzunbin/volume/kfkluster/kafka2/logs:/kafka:Z
    network_mode: host
EOF
kafkaCluster]# docker-compose up -d
  • 在主机IP为10.0.0.115服务器上部署zoo3、kafka3应用服务
~]# mkdir -p /data/deploy/kafkaCluster
~]# cd /data/deploy/kafkaCluster/
kafkaCluster]# cat > docker-compose.yml <<-EOF
version: '3.1'
services:
  zoo3:
    image: wurstmeister/zookeeper
    restart: always
    hostname: zoo3
    container_name: zoo3
    ports:
      - 2181:2181
      - 2888:2888
      - 3888:3888
    volumes:
      - /data/wangzunbin/volume/zkcluster/zoo3/data:/data:Z
      - /data/wangzunbin/volume/zkcluster/zoo3/datalog:/datalog:Z
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=10.0.0.95:2888:3888;2181 server.2=10.0.0.187:2888:3888;2181 server.3=10.0.0.115:2888:3888;2181
    network_mode: host

  kafka3:
    image: wurstmeister/kafka
    restart: always
    hostname: kafka3
    container_name: kafka3
    ports:
      - 9092:9092
    environment:
      KAFKA_ADVERTISED_HOST_NAME: 10.0.0.115
      KAFKA_HOST_NAME: 10.0.0.115
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_BROKER_ID: 3
      KAFKA_ZOOKEEPER_CONNECT: 10.0.0.95:2181,10.0.0.187:2181,10.0.0.115:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://10.0.0.115:9092
      KAFKA_LISTENERS: PLAINTEXT://10.0.0.115:9092
    volumes:
      - /data/wangzunbin/volume/kfkluster/kafka3/logs:/kafka:Z
    network_mode: host
EOF
kafkaCluster]# docker-compose up -d
在Broker 1(10.0.0.95服务器)节点上创建一个用于测试的topic
  • 1.在Broker 1上创建一个副本为3、分区为5的topic用于测试

因Kafka的topic所有分区会分散在不同Broker上，所以该topic的5个分区会被分散到3个Broker上，其中有两个Broker得到两个分区，另一个Broker只有1个分区。该结论在下面将会得到验证

kafkaCluster]# docker exec -it kafka1 /bin/bash
bash-4.4# cd /opt/kafka_2.13-2.7.0/bin/
bash-4.4# kafka-topics.sh --create --zookeeper 10.0.0.95:2181 --replication-factor 3 --partitions 5 --topic TestTopic
Created topic TestTopic.
  • 2.查看新创建的topic信息
bash-4.4# kafka-topics.sh --describe --zookeeper 10.0.0.95:2181 --topic TestTopic
Topic: TestTopic	PartitionCount: 5	ReplicationFactor: 3	Configs: 
	Topic: TestTopic	Partition: 0	Leader: 3	Replicas: 3,1,2	Isr: 3,1,2
	Topic: TestTopic	Partition: 1	Leader: 1	Replicas: 1,2,3	Isr: 1,2,3
	Topic: TestTopic	Partition: 2	Leader: 2	Replicas: 2,3,1	Isr: 2,3,1
	Topic: TestTopic	Partition: 3	Leader: 3	Replicas: 3,2,1	Isr: 3,2,1
	Topic: TestTopic	Partition: 4	Leader: 1	Replicas: 1,3,2	Isr: 1,3,2

如上所说到的"该topic的5个分区会被分散到3个Broker上，其中有两个Broker得到两个分区，另一个Broker只有1个分区"情况，详见如下解释

Topic: TestTopic PartitionCount: 5 ReplicationFactor: 3		# 代表TestTopic有5个分区，3个副本节点；
Topic: TestTopic Partition: 0 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2	# Leader:3代表TestTopic下的分区0的Leader Replica在Broker.id = 3节点上，
Replicas代表他的副本节点有Broker.id = 3,1,2(包括Leader Replica和Follower Replica，且不管是否存活)
Isr表示存活并且同步Leader节点的副本有Broker.id=3,1,2
kafka集群验证

上一步在Broker1(10.0.0.95服务器)上创建了一个topic：TestTopic，接着另开两个终端，分别进入Kafka2(10.0.0.187服务器)和Kafka3(10.0.0.115服务器)容器内，查看在该两容器内是否已同步两topic

  • 1.查看kafka2
kafkaCluster]# docker exec -it kafka2 /bin/bash
bash-4.4# cd /opt/kafka_2.13-2.7.0/bin/
bash-4.4# kafka-topics.sh --describe --zookeeper 10.0.0.95:2181 --topic TestTopic
Topic: TestTopic	PartitionCount: 5	ReplicationFactor: 3	Configs: 
	Topic: TestTopic	Partition: 0	Leader: 3	Replicas: 3,1,2	Isr: 3,1,2
	Topic: TestTopic	Partition: 1	Leader: 1	Replicas: 1,2,3	Isr: 1,2,3
	Topic: TestTopic	Partition: 2	Leader: 2	Replicas: 2,3,1	Isr: 2,3,1
	Topic: TestTopic	Partition: 3	Leader: 3	Replicas: 3,2,1	Isr: 3,2,1
	Topic: TestTopic	Partition: 4	Leader: 1	Replicas: 1,3,2	Isr: 1,3,2
  • 2.查看kafka3
kafkaCluster]# docker exec -it kafka3 /bin/bash
bash-4.4# cd /opt/kafka_2.13-2.7.0/bin/
bash-4.4# kafka-topics.sh --describe --zookeeper 10.0.0.95:2181 --topic TestTopic
Topic: TestTopic	PartitionCount: 5	ReplicationFactor: 3	Configs: 
	Topic: TestTopic	Partition: 0	Leader: 3	Replicas: 3,1,2	Isr: 3,1,2
	Topic: TestTopic	Partition: 1	Leader: 1	Replicas: 1,2,3	Isr: 1,2,3
	Topic: TestTopic	Partition: 2	Leader: 2	Replicas: 2,3,1	Isr: 2,3,1
	Topic: TestTopic	Partition: 3	Leader: 3	Replicas: 3,2,1	Isr: 3,2,1
	Topic: TestTopic	Partition: 4	Leader: 1	Replicas: 1,3,2	Isr: 1,3,2

可以查看到，Kafka2和Kafka3容器应用服务上已同步新创建的topi

  • 3.分别在Broker1(10.0.0.95服务器)上运行一个生产者，Broker2(10.0.0.187服务器)、3(10.0.0.115服务器)上分别运行一个消费者

broker1(进入之前进入到的kafka1容器内操作)运行生产者，并输入生产者消息

bash-4.4# kafka-console-producer.sh --broker-list 10.0.0.95:9092 --topic TestTopic
>test	# 输入生产者信息

broker2(进入之前进入到的kafka2容器内操作)运行消费者，会得到生产者消息发来的消息

bash-4.4# kafka-console-consumer.sh --bootstrap-server 10.0.0.187:9092 --topic TestTopic --from-beginning
test	# 接收到的消息

broker3(进入之前进入到的kafka3容器内操作)运行消费者，会得到生产者消息发来的消息

bash-4.4# kafka-console-consumer.sh --bootstrap-server 10.0.0.115:9092 --topic TestTopic --from-beginning
test	# 接收到的消息
结语

kafka中文文档
kafka官方文档
wurstmeister/kafka镜像仓库

devops_sre
关注
  • 5
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 18
    评论
专栏目录
docker-compose部署zk+kafka+storm集群的实现
01-09
Kafka 集群同样在三台服务器上部署，每台服务器上运行一个容器，并通过 Docker Compose 文件配置。 Kafka 容器配置要点： 1. 使用 `image: wurstmeister/kafka:2.12-2.2.2` 指定 Kafka 的镜像版本。 2. `restart: ...
Docker搭建Kafka集群
u011651342的博客
09-28 9471
详细讲解docker如何搭建Kafka集群
Docker搭建kafka集群
whhwch1986的博客
12-29 2024
【代码】Docker搭建kafka集群。
kafka-集群搭建（在docker中搭建）
最新发布
小丁的博客
06-03 789
kafka-集群搭建（在docker中搭建）
【Kafka】docker部署Kafka集群
Felier's Blog
06-23 3002
docker部署Kafka集群
kafka集群安装
11-21
在本文中，我们将详细介绍如何在三个服务器（service1、service2、service3）上搭建一个基本的Kafka集群。 1. **创建Kafka目录**： 在每个服务器的根目录下创建一个名为`kafka`的文件夹，这将作为Kafka安装的位置...
Ubuntu16.4部署fabric1.4+kafka集群最新最完整
01-08
环境角色规划如下，7台服务器hosts文件统一配置： vim /etc/hosts 10.12.237.103 orderer0.example.com 10.12.236.210 orderer1.example.com 10.12.237.112 orderer2.example.com 10.12.237.114 peer0.org1....
kubernetes-kafka:用于Kubernetes的Kafka集成
05-18
库伯伦特斯·卡夫卡（Kuberentes Kafka） 该项目包含使用促进在上部署工具。 它需要Kubernetes 1.7或... 建议为每个Kafka集群部署一个单独的小型ZooKeeper合奏，而不要使用大型的多租户合奏。 配置和管理 本节包含在Ku
多orderer集群搭建.docx
06-29
10. **配置ZooKeeper**：设置`docker-compose-zookeeper.yaml`文件，用于部署ZooKeeper集群，它是Kafka的协调组件，确保数据的一致性。 11. **启动服务**：最后，使用docker-compose启动Kafka、ZooKeeper、orderer...
docker安装 kafka集群
Java+GO+JS全栈工程师-鹤冲天的博客：编程辅导~商务合作~技术交流
01-05 6552
kafka是分布式的、基于发布/订阅模式的消息队列。本文使用docker安装 kafka集群
docker搭建kafka集群并测试完整版
yyjysh0216的博客
11-07 2417
关于如何在windows上搭建docker kafka集群虚拟环境
高可用之基于Docker搭建Kafka集群
相约滦北来看你
07-26 469
基于Docker搭建Kafka集群是最近一直在用的技术，同时也是自己的总结，采用Docker实现三台机器的集群搭建，分分钟教你学会如何搭建。
kafka入门到实战二（使用docker搭建kafka集群）
qq_42388853的博客
03-02 699
使用docker搭建kafka集群
Docker搭建Zookeeper&Kafka集群
dmlcq的博客
07-01 384
Docker搭建Zookeeper&Kafka集群 最近在学习Kafka，准备测试集群状态的时候感觉无论是开三台虚拟机或者在一台虚拟机开辟三个不同的端口号都太麻烦了（嗯。。主要是懒）。 环境准备 一台可以上网且有CentOS7虚拟机的电脑 > 为什么使用虚拟机？因为使用的笔记本，所以每次连接网络IP都会改变，还要总是修改配置文件的，过于繁琐，不方便测试。（通过Docker虚拟网络的方式可以避免此问题，当时实验的时候没有了解到） # Docker 安装 > 如果已经安装Dock
【Kafka系列】Kafka安装与部署
qq_23557345的博客
11-23 264
本节主要介绍了Kafka单机版本和集群版本的搭建方式，所有的搭建方式都需要依赖Zookeeper来作为分布式协调中心，帮助Kafka进行选主等操作。最终通过Spring Boot快速集成了Kafka并进行了简单的用例测试，帮我们了解了Kafka的部署和简单应用。
docker搭建kafka2.1.0集群+zookeeper3.4 2020版本全流程
qq_34168515的博客
05-30 1530
文章目录前言一、搭建docker1.1 创建docker的网络1.2 查询docker的网络二、Zookeeper集群搭建2.1 安装docker之后，还需要安装 docker-compose2.2 采用 使用yml文件和$ docker-compose up -d命令创建或重建集群2.3 在放置有 docker-compose.yml 的位置运行命令三、Kafka集群搭建2.1 创建 kafka的 docker-compose.yml2.2 运行在放置有 docker-compose.yml 的位置运行命
服务器docker 部署kafka
09-30
服务器docker部署kafka非常简单。只需要使用两条命令即可完成kafka服务器的部署。首先，使用以下命令启动zookeeper容器： ``` docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper ``` 然后，使用以下命令启动kafka容器： ``` docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e ... ``` 需要注意的是，如果你想在多台服务器上部署kafka集群，需要在不同的服务器上分别部署zookeeper和kafka服务。你可以使用不同的主机IP来区分不同的服务器。此外，为了使容器服务的网络全暴露于宿主机上，你可以采用docker的host网络模式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值