Docker for windows 下 Kafka(kraft模式) 安装部署

已于 2024-02-27 12:20:17 修改
阅读量1.7k 收藏 15
点赞数 16
文章标签： docker windows kafka
于 2024-02-27 12:01:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61913190/article/details/136318692
版权
本文详细介绍了如何使用Docker部署Kafka3.6.1版本，包括拉取镜像、设置网络、配置docker-compose.yml文件、创建和管理topic，以及测试消费者和生产者功能。展示了如何在宿主机上设置Kafka的网络参数和对外服务的监听地址。
摘要由CSDN通过智能技术生成

1.kafka版本  3.6.1

2.docker 拉取kafka镜像

2.1启动docker,打开cmd输入以下命令，查看docker界面，已经拉取了镜像

docker pull bitnami/kafka:3.6.1

3.设置网络

3.1 在cmd中输入以下命令，这将使用指定的IP地址范围和网关地址创建一个名为netkafka的自定义网络。这个网络将在后续的Kafka Broker容器配置中使用。

docker network create --subnet=172.23.0.0/25 --gateway=172.23.0.1 netkafka

4.运行kafka.yml文件

4.1 在cmd中进入该文件所在目录，执行以下命令（文件内容附文末，创建应该.txt文件，修改后缀为.yml即可）

docker-compose -f kafka.yml up -d

4.2 查看docker界面，kafka集群已经启动

5.集群消费者生产者测试

5.1 打开一个cmd,执行以下命令，进入kafka1容器

docker exec -it kafka1 bash

5.2 执行以下命令，进入目录

cd /opt/bitnami/kafka/bin

5.3 执行以下命令，创建topic，创建一个副本为3、分区为5的topic

./kafka-topics.sh --create --topic foo --partitions 5 --replication-factor 3 --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092

5.4 执行以下命令，查看topic详细信息

kafka-topics.sh --describe --topic foo --bootstrap-server kafka1:9092, kafka2:9092, kafka3:9092

5.5 新打开一个cmd界面，执行以下命令进入kafak1容器

docker exec -it kafka1 bash

5.6 执行以下命令创建生产者

kafka-console-producer.sh --broker-list 172.23.0.11:9092,172.23.0.12:9092,172.23.0.13:9092 --topic foo

5.7 新打开一个cmd界面，执行以下命令，进入kafka2容器

docker exec -it kafka2 bash

5.8 执行以下命令创建消费者

kafka-console-consumer.sh --bootstrap-server 172.23.0.11:9092,172.23.0.12:9092,172.23.0.13:9092 --topic foo

在生产者中输入消息

查看消费者是否收到消息，可以看见消费者中成功接收到消息

6.以下为kafka.yml文件内容

其中，需要修改的内容为

1.修改宿主机ip KAFKA_CFG_ADVERTISED_LISTENERS（自己的主机IP）
2.修改挂载路径

version: "3.6"

services:

  kafka1:

    container_name: kafka1

    image: 'bitnami/kafka:3.6.1'

    user: root

    ports:

      - '19092:9092'

      - '19093:9093'

    environment:

      # 允许使用Kraft

      - KAFKA_ENABLE_KRAFT=yes

      - KAFKA_CFG_PROCESS_ROLES=broker,controller

      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER

     

      # 定义kafka服务端socket监听端口（Docker内部的ip地址和端口）

      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093

      # 定义安全协议

      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

      #定义外网访问地址（宿主机ip地址和端口,标红处修改为自己主机IP）

      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://1.1.1.1:19092

      - KAFKA_CFG_NODE_ID=1

      - KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI

      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@172.23.0.11:9093,2@172.23.0.12:9093,3@172.23.0.13:9093

      - ALLOW_PLAINTEXT_LISTENER=yes

      # 设置broker最大内存，和初始内存

      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M

volumes:

  #挂载路径，标红处修改为自己的路径

      - /E/dockers/volume/kafka/broker01:/bitnami/kafka:rw

    networks:

      netkafka:

        ipv4_address: 172.23.0.11

  kafka2:

    container_name: kafka2

    image: 'bitnami/kafka:3.6.1'

    user: root

    ports:

      - '29092:9092'

      - '29093:9093'

    environment:

      - KAFKA_ENABLE_KRAFT=yes

      - KAFKA_CFG_PROCESS_ROLES=broker,controller

      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER

      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093

      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

      #标红处修改为自己主机IP

      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://1.1.1.1:29092

      - KAFKA_CFG_NODE_ID=2

      - KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI #哪一，三个节点保持一致

      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@172.23.0.11:9093,2@172.23.0.12:9093,3@172.23.0.13:9093

      - ALLOW_PLAINTEXT_LISTENER=yes

      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M

volumes:

#挂载路径，标红处修改为自己的路径

      - /E/dockers/volume/kafka/broker02:/bitnami/kafka:rw

    networks:

      netkafka:

        ipv4_address: 172.23.0.12

  kafka3:

    container_name: kafka3

    image: 'bitnami/kafka:3.6.1'

    user: root

    ports:

      - '39092:9092'

      - '39093:9093'

    environment:

      - KAFKA_ENABLE_KRAFT=yes

      - KAFKA_CFG_PROCESS_ROLES=broker,controller

      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER

      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093

      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

      # 标红处修改为自己主机IP

      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://1.1.1.1:39092

      - KAFKA_CFG_NODE_ID=3

      - KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI

      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@172.23.0.11:9093,2@172.23.0.12:9093,3@172.23.0.13:9093

      - ALLOW_PLAINTEXT_LISTENER=yes

      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M

volumes:

  #挂载路径，标红处修改为自己的路径

      - /E/dockers/volume/kafka/broker03:/bitnami/kafka:rw

    networks:

      netkafka:

        ipv4_address: 172.23.0.13

networks:

  name:

  netkafka:

    external: true

    driver: bridge

    name: netkafka

    ipam:

      driver: default

      config:

        - subnet: 172.23.0.0/25

          gateway: 172.23.0.1

代码解释：

1. version: "3.6"`：指定了 Docker Compose 文件的版本。

3. `kafka1:`、`kafka2:` 和 `kafka3:`：这些是要创建的 Kafka 服务的配置部分。每个服务都包括了容器的名称、镜像、端口映射、环境变量、卷挂载、网络配置等信息。

4. `container_name`: 指定了容器的名称。

5. `image`: 指定了要使用的 Docker 镜像。

6. `ports`: 指定了要映射的端口，格式为 `<host_port>:<container_port>`。

7. `environment`: 指定了环境变量，用于配置 Kafka 实例。

KAFKA_ENABLE_KRAFT=yes：启用 Kafka 中的 Kafka Raft 强一致性协议 (KRaft)。

8.KAFKA_CFG_PROCESS_ROLES=broker,controller：指定 Kafka 进程的角色，其中包括 “broker” 和 “controller”。

9.KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER：指定控制器监听器的名称为 “CONTROLLER”。

10.KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093：定义 Kafka 监听器的配置。这里使用了两个监听器，一个用于 “PLAINTEXT” 协议，监听 9092 端口，另一个用于 “CONTROLLER” 协议，监听 9093 端口。

11.KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT：定义监听器的安全协议映射。这里将 “CONTROLLER” 协议映射到 “PLAINTEXT” 协议。

12.KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://192.168.0.135:29092：定义 Kafka 在外部可访问的监听器地址。这里使用了 “PLAINTEXT” 协议和宿主机的 IP 地址。

13.KAFKA_CFG_NODE_ID=1：指定当前 Kafka 节点的节点 ID。

14.KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI：指定 Kafka KRaft 集群的 ID。确保三个节点的集群 ID 相同。

15.KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@172.23.0.11:9093,2@172.23.0.12:9093,3@172.23.0.13:9093：指定 KRaft 控制器的选举候选人列表。这里列出了三个节点的 IP 地址和端口。

16.ALLOW_PLAINTEXT_LISTENER=yes：允许使用 “PLAINTEXT” 协议的监听器。

  1. KAFKA_HEAP_OPTS=-Xmx512M -Xms256M：指定 Kafka 进程的 Java 堆内存大小。这里将最大堆内存 (Xmx) 设置为 512M，初始堆内存 (Xms) 设置为 256M。

18. `volumes`: 定义了数据卷的挂载方式，用于持久化存储 Kafka 的数据。

19. `networks`: 指定了要连接的网络。

20. `networks -> netkafka`: 定义了名为 `netkafka` 的网络配置，其中包括了 IP 地址分配等信息。

解释：关于网络配置部分，`netkafka` 是一个外部网络，其 IP 地址由 IP 地址管理 (IPAM) 驱动程序提供。它使用了子网 `172.23.0.0/25`，并配置了网关地址为 `172.23.0.1`。

慕仙少白
关注
  • 16
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
利用docker和docker-compose部署单机kafka
01-20
前提 docker docker-compose 其中docker-compose不是必须的,单单使用docker也是可以的,这里主要介绍docker和docker-compose两种方式 docker部署 docker部署kafka非常简单，只需要两条命令即可完成kafka服务器的部署。 docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONN
Docker部署Kafka以及Spring Kafka实现
01-11
这篇文章主要介绍了Docker部署Kafka以及Spring Kafka实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 从https://hub.docker.com/查找kafka 第三个活跃并...
【Kafka】基于Docker的KRaft模式(无Zookeeper)集群安装及测试
MacwinWin的博客
10-19 5537
最近项目中想使用kafka做消息系统，但安装好像很复杂，现在把安装过程记录一下。主流的安装方式是在服务器上直接安装，而我希望的是使用Docker。主流的Kafka使用Zookeeper，但最近Kafka将会逐步舍弃Zookeeper而使用自带的KRaft所以以下步骤是基于Docker安装无Zookeeper的Kafka。
Docker Windows 教程（一）
最新发布
龙哥盟
07-10 1040
容器是运行软件的新方式。它们高效、安全、可移植，您可以在 Docker 中运行 Windows 应用程序而无需进行代码更改。Docker 帮助您应对 IT 中的最大挑战：现代化传统应用程序、构建新应用程序、迁移到云端、采用 DevOps 并保持创新。本书将教会您有关 Windows 上 Docker 的一切，从基础知识到在生产环境中运行高可用负载。您将通过一个 Docker 之旅，从关键概念和在 Windows 上的.NET Framework 和.NET Core 应用程序的简单示例开始。
docker搭建kafka集群
weixin_44157851的博客
02-22 388
3.3版本引入了Apache Kafka Raft （KRaft）用来代替ZooKeeper，因此不需要搭建ZooKeeper了。使用docker搭建kafka 3.5。
【Docker】手把手教你使用Docker安装kafka【详细教程】
热门推荐
m0_64210833的博客
11-03 2万+
手把手教你使用Docker安装kafka
Docker 基础概念 及 windows下使用
yichudu
03-15 1万+
安装 win 10 系统可用. 以下操作均可在console中完成. 容器管理 初次安装并启动 --name 容器中的用户账户名 --net=host 使用本机网络 -v a:b 本地磁盘与容器文件系统的映射. windows盘符的d:需要转换为/d/. -it 分配一个伪中断, 使用标准输入流. reg.docker.alibaba-inc.com/dii/dii_alios7u2_dev ...
docker for windows使用
lz13419607299的博客
07-17 1918
docker在window下安装
Windows安装Docker
m0_67391121的博客
08-30 2092
Windows 10 Pro（专业版） / Enterprise（企业版） / Education（教育版）（1607 Anniversary Update、Build 14393 或者更新的版本）。Windows 必须是 64 位的版本。需要启用 Windows 操作系统中的 Hyper-V 和容器特性。
docker搭建kafka集群并测试完整版
yyjysh0216的博客
11-07 2467
关于如何在windows上搭建docker kafka集群虚拟环境
docker-compose安装kafka
01-21
docker-compose安装kafka
windows下kafka_2.12-2.9.0.rar（含单机伪分布式配置）
04-12
windows下kafka_2.12-2.9.0.rar（含单机伪分布式配置）
Docker for Windows Installer.zip
06-08
Docker for Windows Installer
Docker for Windows（附安装教程）
08-03
Docker for Windows（附安装教程），亲自测试过，安装简单
window安装Docker Desktop for Windows（基于WSL2）
m0_64288219的博客
12-28 9259
Docker 是一个开放源代码软件，是一个开放平台，用于开发应用、交付（shipping）应用、运行应用。Docker允许用户将基础设施（Infrastructure）中的应用单独分割出来，形成更小的颗粒（容器），从而提高交付软件的速度。Docker容器与虚拟机类似，但二者在原理上不同。容器是将操作系统层虚拟化，虚拟机则是虚拟化硬件，因此容器更具有便携性、高效地利用服务器。容器更多的用于表示 软件的一个标准化单元。
【Kafka】docker部署Kafka集群
Felier's Blog
06-23 3045
docker部署Kafka集群
Docker搭建kafka集群
weixin_48412846的博客
01-18 4355
Docker搭建kafka集群
Docker简介与Windows安装
大河之犬的博客
03-22 2581
docker 使用 Google 公司推出的 Go 语言进行开发实现，基于 Linux 内核的 cgroup，namespace，以及 OverlayFS 类的 Union FS 等技术，对进程进行封装隔离，属于操作系统层面的虚拟化技术。由于隔离的进程独立于宿主和其它的隔离的进程，因此也称其为容器runc 是一个 Linux 命令行工具，用于根据 OCI容器运行时规范 创建和运行容器containerd 是一个守护程序，它管理容器生命周期，提供了在一个节点上执行容器和管理镜像的最小功能集。
docker-compose安装kafka kraft
01-14
以下是使用docker-compose安装kafka kraft的步骤： 1. 创建一个名为`docker-compose.yml`的文件，并在其中定义kafka和zookeeper的服务配置。 ```yaml version: '3' services: zookeeper: image: confluentinc/cp-zookeeper:6.2.0 container_name: zookeeper ports: - "2181:2181" environment: - ZOOKEEPER_CLIENT_PORT=2181 - ZOOKEEPER_TICK_TIME=2000 kafka: image: confluentinc/cp-kafka:6.2.0 container_name: kafka depends_on: - zookeeper ports: - "9092:9092" environment: - KAFKA_BROKER_ID=1 - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 - KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:9092 - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 - KAFKA_AUTO_CREATE_TOPICS_ENABLE=false ``` 2. 打开终端，进入包含`docker-compose.yml`文件的目录，并运行以下命令启动kafka和zookeeper服务。 ```shell docker-compose up -d ``` 3. 等待一段时间，直到所有容器启动并运行。可以使用以下命令检查容器的状态。 ```shell docker-compose ps ``` 4. 现在，你的kafka和zookeeper服务已经在Docker容器中成功安装和运行了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

慕仙少白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值