docker部署kafka集群(单台服务器)

最新推荐文章于 2024-04-10 16:40:13 发布
最新推荐文章于 2024-04-10 16:40:13 发布
阅读量791 收藏 5
点赞数
分类专栏： linux 文章标签： devops
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42715225/article/details/116862620
版权
前言

… …

概述

在实际生产环境中，kafka都是通过集群方式部署，常见的架构如下所示
在这里插入图片描述

Kafka集群由多个Broker组成，每个Broker对应一个Kafka实例；Zookeeper负责管理Kafka集群的Leader选举以及Consumer Group发生变化的时候进行reblance操作

搭建kafka集群
部署

因kafka需要配合zookeeper服务(这里直接搭建zookeeper集群)使用，故同时部署服务，或者接入已经部署好的zookeeper服务

  • 部署的kafka三个服务，都接入到zookeeper集群
~]# mkdir -p /data/deploy/kafkaCluster
kafkaCluster]# cd /data/deploy/kafkaCluster
kafkaCluster]# cat > docker-compose.yml <<-EOF
version: '3.1'
services:
  zoo1:
    image: wurstmeister/zookeeper
    restart: always
    hostname: zoo1
    container_name: zoo1
    ports:
      - 2184:2181
    volumes:
      - /data/wangzunbin/volume/zkcluster/zoo1/data:/data:Z
      - /data/wangzunbin/volume/zkcluster/zoo1/datalog:/datalog:Z
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

  zoo2:
    image: wurstmeister/zookeeper
    restart: always
    hostname: zoo2
    container_name: zoo2
    ports:
      - 2185:2181
    volumes:
      - /data/wangzunbin/volume/zkcluster/zoo2/data:/data:Z
      - /data/wangzunbin/volume/zkcluster/zoo2/datalog:/datalog:Z
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

  zoo3:
    image: wurstmeister/zookeeper
    restart: always
    hostname: zoo3
    container_name: zoo3
    ports:
      - 2186:2181
    volumes:
      - /data/wangzunbin/volume/zkcluster/zoo3/data:/data:Z
      - /data/wangzunbin/volume/zkcluster/zoo3/datalog:/datalog:Z
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888

  kafka1:
    image: wurstmeister/kafka
    restart: always
    hostname: kafka1
    container_name: kafka1
    ports:
      - 9092:9092
    environment:
      KAFKA_ADVERTISED_HOST_NAME: kafka1
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka1:9092
      KAFKA_LISTENERS: PLAINTEXT://kafka1:9092
    volumes:
      - /data/wangzunbin/volume/kfkluster/kafka1/logs:/kafka:Z
    external_links:
      - zoo1
      - zoo2
      - zoo3

  kafka2:
    image: wurstmeister/kafka
    restart: always
    hostname: kafka2
    container_name: kafka2
    ports:
      - 9093:9092
    environment:
      KAFKA_ADVERTISED_HOST_NAME: kafka2
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka2:9092
      KAFKA_LISTENERS: PLAINTEXT://kafka2:9092
    volumes:
      - /data/wangzunbin/volume/kfkluster/kafka2/logs:/kafka:Z
    external_links:
      - zoo1
      - zoo2
      - zoo3

  kafka3:
    image: wurstmeister/kafka
    restart: always
    hostname: kafka3
    container_name: kafka3
    ports:
      - 9094:9092
    environment:
      KAFKA_ADVERTISED_HOST_NAME: kafka3
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_BROKER_ID: 3
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181,zoo2:2181,zoo3:2181
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka3:9092
      KAFKA_LISTENERS: PLAINTEXT://kafka3:9092
    volumes:
      - /data/wangzunbin/volume/kfkluster/kafka3/logs:/kafka:Z
    external_links:
      - zoo1
      - zoo2
      - zoo3
EOF
kafkaCluster]# docker-compose up -d
Creating network "kafkacluster_default" with the default driver
Creating kafka3 ... done
Creating zoo1   ... done
Creating zoo3   ... done
Creating zoo2   ... done
Creating kafka1 ... done
Creating kafka2 ... done
kafkaCluster]# docker ps
CONTAINER ID        IMAGE                    COMMAND                  CREATED             STATUS              PORTS                                                NAMES
081d20e76193        wurstmeister/kafka       "start-kafka.sh"         9 seconds ago       Up 7 seconds        0.0.0.0:9092->9092/tcp                               kafka1
ffe52bc09cb0        wurstmeister/zookeeper   "/bin/sh -c '/usr/sb…"   9 seconds ago       Up 8 seconds        22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2185->2181/tcp   zoo2
92c4b741bfb9        wurstmeister/kafka       "start-kafka.sh"         9 seconds ago       Up 8 seconds        0.0.0.0:9093->9093/tcp                               kafka2
baa8ed8467d5        wurstmeister/kafka       "start-kafka.sh"         9 seconds ago       Up 7 seconds        0.0.0.0:9094->9094/tcp                               kafka3
7934bd26c161        wurstmeister/zookeeper   "/bin/sh -c '/usr/sb…"   9 seconds ago       Up 7 seconds        22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2186->2181/tcp   zoo3
6eebd11bb5c6        wurstmeister/zookeeper   "/bin/sh -c '/usr/sb…"   9 seconds ago       Up 7 seconds        22/tcp, 2888/tcp, 3888/tcp, 0.0.0.0:2184->2181/tcp   zoo1
测试验证集群
在Broker 1节点上创建一个用于测试的topic
  • 1.在Broker 1上创建一个副本为3、分区为5的topic用于测试

因Kafka的topic所有分区会分散在不同Broker上，所以该topic的5个分区会被分散到3个Broker上，其中有两个Broker得到两个分区，另一个Broker只有1个分区。该结论在下面将会得到验证

kafkaCluster]# docker exec -it kafka1 /bin/bash
bash-4.4# cd /opt/kafka_2.13-2.7.0/
bash-4.4# kafka-topics.sh --create --zookeeper 10.0.0.114:2184 --replication-factor 3 --partitions 5 --topic TestTopic
Created topic TestTopic.
  • 2.查看新创建的topic信息
bash-4.4# kafka-topics.sh --describe --zookeeper 10.0.0.114:2184 --topic TestTopic
Topic: TestTopic	PartitionCount: 5	ReplicationFactor: 3	Configs: 
Topic: TestTopic	Partition: 0	Leader: 1	Replicas: 1,2,3	Isr: 1,2,3
Topic: TestTopic	Partition: 1	Leader: 2	Replicas: 2,3,1	Isr: 2,3,1
Topic: TestTopic	Partition: 2	Leader: 3	Replicas: 3,1,2	Isr: 3,1,2
Topic: TestTopic	Partition: 3	Leader: 1	Replicas: 1,3,2	Isr: 1,3,2
Topic: TestTopic	Partition: 4	Leader: 2	Replicas: 2,1,3	Isr: 2,1,3

如上所说到的"该topic的5个分区会被分散到3个Broker上，其中有两个Broker得到两个分区，另一个Broker只有1个分区"情况，详见如下解释

Topic: TestTopic PartitionCount: 5 ReplicationFactor: 3		# 代表TestTopic有5个分区，3个副本节点；
Topic: TestTopic Partition: 0 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3	# Leader:1代表TestTopic下的分区0的Leader Replica在Broker.id = 1节点上，
Replicas代表他的副本节点有Broker.id = 1,2,3(包括Leader Replica和Follower Replica，且不管是否存活)
Isr表示存活并且同步Leader节点的副本有Broker.id=1,2,3
kafka集群验证

上一步在Broker1上创建了一个topic：TestTopic，接着另开两个终端，分别进入Kafka2和Kafka3容器内，查看在该两容器内是否已同步两topic

  • 1.查看kafka2
~]# docker exec -it kafka2 /bin/bash
bash-4.4# cd /opt/kafka_2.13-2.7.0/bin/
bash-4.4# kafka-topics.sh --describe --zookeeper 10.0.0.114:2184 --topic TestTopic
Topic: TestTopic	PartitionCount: 5	ReplicationFactor: 3	Configs: 
	Topic: TestTopic	Partition: 0	Leader: 1	Replicas: 1,2,3	Isr: 1,2,3
	Topic: TestTopic	Partition: 1	Leader: 2	Replicas: 2,3,1	Isr: 2,3,1
	Topic: TestTopic	Partition: 2	Leader: 3	Replicas: 3,1,2	Isr: 3,1,2
	Topic: TestTopic	Partition: 3	Leader: 1	Replicas: 1,3,2	Isr: 1,3,2
	Topic: TestTopic	Partition: 4	Leader: 2	Replicas: 2,1,3	Isr: 2,1,3
  • 2.查看kafka3
~]# docker exec -it kafka3 /bin/bash
bash-4.4# cd /opt/kafka_2.13-2.7.0/bin/
bash-4.4# kafka-topics.sh --describe --zookeeper 10.0.0.114:2184 --topic TestTopic
Topic: TestTopic	PartitionCount: 5	ReplicationFactor: 3	Configs: 
	Topic: TestTopic	Partition: 0	Leader: 1	Replicas: 1,2,3	Isr: 1,2,3
	Topic: TestTopic	Partition: 1	Leader: 2	Replicas: 2,3,1	Isr: 2,3,1
	Topic: TestTopic	Partition: 2	Leader: 3	Replicas: 3,1,2	Isr: 3,1,2
	Topic: TestTopic	Partition: 3	Leader: 1	Replicas: 1,3,2	Isr: 1,3,2
	Topic: TestTopic	Partition: 4	Leader: 2	Replicas: 2,1,3	Isr: 2,1,3

可以查看到，Kafka2和Kafka3上已同步新创建的topi

  • 3.分别在Broker1上运行一个生产者，Broker2、3上分别运行一个消费者

broker1(进入之前进入到的kafka1容器内操作)运行生产者，并输入生产者消息

bash-4.4# kafka-console-producer.sh --broker-list 10.0.0.114:9092 --topic TestTopic
>test	# 输入生产者信息

broker2(进入之前进入到的kafka2容器内操作)运行消费者，会得到生产者消息发来的消息

bash-4.4# kafka-console-consumer.sh --bootstrap-server 10.0.0.114:9093 --topic TestTopic --from-beginning
test	# 接收到的消息

broker3(进入之前进入到的kafka3容器内操作)运行消费者，会得到生产者消息发来的消息

bash-4.4# kafka-console-consumer.sh --bootstrap-server 10.0.0.114:9094 --topic TestTopic --from-beginning
test	# 接收到的消息
结语

kafka中文文档
kafka官方文档
wurstmeister/kafka镜像仓库

devops_sre
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Ubuntu16.4部署fabric1.4+kafka集群最新最完整
01-08
环境角色规划如下，7台服务器hosts文件统一配置： vim /etc/hosts 10.12.237.103     orderer0.example.com 10.12.236.210     orderer1.example.com 10.12.237.112     orderer2.example.com 10.12.237.114     peer0.org1.example.com 10.12.237.120     peer1.org1.example.com 10.12.237.127     peer0.org2.example.com 10.12.237.132     
Linux配置Kafka集群（我的是在一台主机上配的）
qq_39696269的博客
08-04 3563
转载：https://www.cnblogs.com/fzdsy/p/11482583.html　　 linux下安装kafka,首先确保zookeeper已经安装成功,想要安装zookeeper，必须先在linux中安装好jdk。 下面我们依次开始安装jdk，zookeeper，kafka。 一：安装jdk： 　　1.检查linux环境是否安装了jdk可以用java -version或者rpm -qa|grep jdk 。 　　2.下载jdk-8u221-linux-x64.tar.gz。可以在
Kafka集群搭建（Docker方式部署）
最新发布
shenaohuoli132的博客
04-10 383
2.Zookeeper配置,创建Zookeeper配置文件。3.创建Zookeeper日志配置。4.创建Docker编排文件。
Docker搭建kafka集群
whhwch1986的博客
12-29 1914
【代码】Docker搭建kafka集群。
本地电脑用docker搭建kafka集群
weixin_42227719的博客
04-08 192
docker ps -a 查看status状态。1、前置安装已经安装好docker。需要切换zk的ip和本地的ip。1、拉zk、kafka的镜像。2、run kafka容器。1、run zk容器。
单台虚拟机搭建kafka集群（使用docker）
kjzd123的博客
11-05 971
docker kafka集群搭建 用Java代码连接kafka
Kafka系列 - 03 Kafka安装|单机环境搭建|伪集群环境搭建 (一台服务器)
你今天真好看呀
11-22 1312
① 在安装完JDK和ZooKeeper之后，就可以执行Kafka broker的安装了，首先也是从官网http://kafka.apache.org/downloads中下载安装包，示例中选用按照包的是kafka_2.12-2.2.1.tgz。① 安装ZooKeeper的第一步也是下载相应的安装包，安装包可以从官网https://zookeeper.apache.org/中获得，我们使用的安装包是zookeeper-3.4.14.tar.gz。这个文件就是记录每个服务器的ID。
使用Docker-compose创建kafka集群
m0_59388826的博客
10-23 1225
如果不改变权限，会提示权限不够的报错，kafka不能正常运行，具体原因暂未解决，有知道原因的可以留言告诉作者。三台服务器：192.168.40.174 192.168.40.175 192.168.40.176。单台机器：192.168.40.174。192.168.40.175 机器。192.168.40.176 机器。192.168.40.174 机器。
kafka服务部署从单机到集群
abments的博客
02-12 953
kafka单机部署和集群部署教程
单机搭建zookeeper+kafka&集群搭建&容器搭建
weixin_60092693的博客
02-14 391
实验测试
kafka消息只能在一台服务器消费的问题解决过程
tyrroo的博客
04-24 4668
场景： kafka消费端应用部署在两台机器上，其中一台能消费到生产端发出的kafka消息，另一台服务器接收不到任何消息。 解决过程： 一、从消费端启动日志中找出所有消费端线程 2019-04-23 20:04:44,726 [xx_xxapp03-1556011171628-976bc2af_watcher_executor] INFO kafka.consumer.RangeAssi...
kubernetes-kafka:用于Kubernetes的Kafka集成
05-18
库伯伦特斯·卡夫卡（Kuberentes Kafka） 该项目包含使用促进在上部署工具。 它需要Kubernetes 1.7或... 建议为每个Kafka集群部署一个单独的小型ZooKeeper合奏，而不要使用大型的多租户合奏。 配置和管理 本节包含在Ku
TweetMap：一个实时的Tweet趋势图和情感分析Web应用程序，在云上部署了kafka，Angular，Spring Boot，Flink，Elasticsearch，Kibana，Docker和Kubernetes
02-01
创建Docker映像并将microservices部署到Kubernetes集群 项目结构 tweet-collector ：使用Twitter Streaming API收集实时tweet并推送到Kafka集群。 要支持其他社交媒体，请实现SocialMediaCollector接口。 要支持...
jmeter-kafka-container:用于卡夫卡负载测试的JMeter容器
04-13
该容器可以部署到Docker Engine或OpenShift容器平台中。 这提供了一个灵活的JMeter容器，用于在容器平台上对Kafka进行负载测试。 支持参数 以下是支持参数。 有关下面列出的一些Kafka设置的可能的可配置值，请参阅...
harmonyos2-ansible-rancher-docker-deploy:使用ansible+rancher+docker实现微服务+
07-01
集群，例如 Amazon Web Service 的 EMR， 已部署的 Web 服务的横向扩展/故障转移/负载平衡…… 它应该易于设置以进行操作等。 Hadoop 生态软件（Apache spark、Apache Kafka、Elasticsearch ...）应该能够快速安装和...
【Kafka】docker部署Kafka集群
Felier's Blog
06-23 2928
docker部署Kafka集群
docker搭建kafka集群并测试完整版
yyjysh0216的博客
11-07 2238
关于如何在windows上搭建docker kafka集群虚拟环境
使用docker部署单节点以及三节点集群kafka+zookeeper
ylsutpc的博客
10-12 913
使用docker部署单节点以及三节点集群kafka+zookeeper
2022-08-04 Kafka概述与安装部署
D___H的博客
08-04 358
Kafka概述与安装部署
服务器docker 部署kafka
09-30
需要注意的是，如果你想在多台服务器上部署kafka集群，需要在不同的服务器上分别部署zookeeper和kafka服务。你可以使用不同的主机IP来区分不同的服务器。此外，为了使容器服务的网络全暴露于宿主机上，你可以采用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值