Docker for windows 下 Kafka(kraft模式) 安装部署_docker for windows 安装 kafka

最新推荐文章于 2024-07-30 16:57:39 发布
最新推荐文章于 2024-07-30 16:57:39 发布
阅读量801 收藏 28
点赞数 21
分类专栏： 2024年程序员学习 文章标签： docker windows kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84159911/article/details/137485786
版权

5.6 执行以下命令创建生产者

kafka-console-producer.sh --broker-list 172.23.0.11:9092,172.23.0.12:9092,172.23.0.13:9092 --topic foo

5.7 新打开一个cmd界面，执行以下命令，进入kafka2容器

docker exec -it kafka2 bash

5.8 执行以下命令创建消费者

kafka-console-consumer.sh --bootstrap-server 172.23.0.11:9092,172.23.0.12:9092,172.23.0.13:9092 --topic foo

在生产者中输入消息

查看消费者是否收到消息，可以看见消费者中成功接收到消息

****6.****以下为kafka.yml文件内容

其中，需要修改的内容为

1.修改宿主机ip KAFKA_CFG_ADVERTISED_LISTENERS（自己的主机IP）
2.修改挂载路径

version: “3.6”

services:

kafka1:

container_name: kafka1

image: ‘bitnami/kafka:3.6.1’

user: root

ports:

  • ‘19092:9092’

  • ‘19093:9093’

environment:

允许使用Kraft

  • KAFKA_ENABLE_KRAFT=yes

  • KAFKA_CFG_PROCESS_ROLES=broker,controller

  • KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER

定义kafka服务端socket监听端口（Docker内部的ip地址和端口）

  • KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093

定义安全协议

  • KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

#定义外网访问地址（宿主机ip地址和端口,标红处修改为自己主机IP）

  • KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://1.1.1.1:19092

  • KAFKA_CFG_NODE_ID=1

  • KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI

  • KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@172.23.0.11:9093,2@172.23.0.12:9093,3@172.23.0.13:9093

  • ALLOW_PLAINTEXT_LISTENER=yes

设置broker最大内存，和初始内存

  • KAFKA_HEAP_OPTS=-Xmx512M -Xms256M

volumes:

#挂载路径，标红处修改为自己的路径

  • /E/dockers/volume/kafka/broker01:/bitnami/kafka:rw

networks:

netkafka:

ipv4_address: 172.23.0.11

kafka2:

container_name: kafka2

image: ‘bitnami/kafka:3.6.1’

user: root

ports:

  • ‘29092:9092’

  • ‘29093:9093’

environment:

  • KAFKA_ENABLE_KRAFT=yes

  • KAFKA_CFG_PROCESS_ROLES=broker,controller

  • KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER

  • KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093

  • KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

#标红处修改为自己主机IP

  • KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://1.1.1.1:29092

  • KAFKA_CFG_NODE_ID=2

  • KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI #哪一，三个节点保持一致

  • KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@172.23.0.11:9093,2@172.23.0.12:9093,3@172.23.0.13:9093

  • ALLOW_PLAINTEXT_LISTENER=yes

  • KAFKA_HEAP_OPTS=-Xmx512M -Xms256M

volumes:

#挂载路径，标红处修改为自己的路径

  • /E/dockers/volume/kafka/broker02:/bitnami/kafka:rw

networks:

netkafka:

ipv4_address: 172.23.0.12

kafka3:

container_name: kafka3

image: ‘bitnami/kafka:3.6.1’

user: root

ports:

  • ‘39092:9092’

  • ‘39093:9093’

environment:

  • KAFKA_ENABLE_KRAFT=yes

  • KAFKA_CFG_PROCESS_ROLES=broker,controller

  • KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
img

图片转存中…(img-v8Z88hZp-1712514615278)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）
[外链图片转存中…(img-VEbsnVcB-1712514615278)]

2401_84159911
关注
专栏目录
使用 Docker-Compose 部署 Kafka
种一棵树最好的时间是十年前，其次是现在。
05-01 786
在服务器国产化的趋势下，有的时候我们需要在 ARM 架构的机器上部署 Kafka，而 `bitnami/kafka` 不但更新的快，而且很多版本都是支持 X86 和 ARM 架构的，所以这也是我决定用这个发行版的原因。
docker-compose→kafka镜像制作,kraft集群容器编排一键启动
u010711867的博客
03-30 401
我开始也是用stars最多的镜像也就是bitnami/kafka,但是我发现这个镜像在做kraft集群的时候有问题,就是它没办法选择配置文件启动,一直用的和zookeeper一起启动的配置文件启动,然后镜像我又没办法控制,所以我干脆就自己写了一个cluster.id可以到容器中去生成,现在先启动,不用管生成好了更新到配置文件,重启容器即可生成命令每个kraft中都有两个配置文件meta.properties和server.properties-d: 后台启动。
Windows11环境下使用docker配置kafka的学习记录
weixin_55012676的博客
09-16 306
一个分布式抽奖秒杀项目的消息队列需要用到kafka，之前没接触过，边学边弄踩了很多坑，配置了好几天一直都是docker terminal处可以正常运行到了spring boot那里就连接不上kafka服务，为了防止重复踩坑，故写个帖子记录下学习过程，有理解不对的地方希望大家批评指正。由于wurstmeister/zookeeper以及wurstmeister/kafka使用人数较多，使用范围较广，本次使用wurstmeister/kafka来搭建。
Docker安装kafka
wangyq9609的博客
03-22 1801
Docker安装kafka 1、下载镜像 docker pull zookeeper docker pull wurstmeister/kafka 2、启动zookeeper容器 docker run -d --name zookeeper -p 2181:2181 zookeeper 3 、启动kafka容器 docker run -d --name kafka -p 9092:9092 ...
Docker内分布式消息系统kafka的安装和使用
qq_37908302的博客
07-17 433
如果在线下载很慢，或无法下载安装依赖，可选择离线安装Docker！
[kafka] Kafka Docker单机环境搭建
sai_j的博客
10-09 3173
Kafka搭建 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper docker run -d --name kafka --publish 9092:9092 \ --l...
【Docker】手把手教你使用Docker安装kafka【详细教程】
热门推荐
m0_64210833的博客
11-03 2万+
手把手教你使用Docker安装kafka
在Docker环境下部署Kafka
02-09 552
1、下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 在命令中运行docker images验证两个镜像已经安装完毕 2、启动 1、启动zookeeper ...
Windows下利用Docker搭建Kafka服务
凤凰花の博客
03-04 699
Windows下利用Docker搭建kafka服务，并通过官方bat脚本及python代码使用该服务
Kafka（一）使用Docker Compose安装单机Kafka以及Kafka UI_docker 部署单机kafka
2401_84166396的博客
04-08 902
化！**
Kafka（一）使用Docker Compose安装单机Kafka以及Kafka UI_docker 部署单机kafka(1)
2401_84166396的博客
04-08 2731
化！**
Windows下使用Docker搭建Kafka
lmchhh的博客
09-06 2168
Windows下使用Docker搭建Kafka 一，下载 首先，先启动本地的Docker服务，然后获取合适版本的zookeeper（我这里默认是最新） docker pull wurstmeister/zookeeper 再到docker仓库获取合适版本的kafka docker pull wurstmeister/kafka 二，搭建 启动zookeeper服务 docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper 启动
windows上使用docker搭建kafka
qq_32457341的博客
06-09 859
docker上搭建kafka的集群
docker 安装kafka_Kafka 实战（二）docker 与 windows 安装 kafka
weixin_39872893的博客
11-25 226
背景近期在使用 kafka，不过用的是阿里云的服务。一时心痒痒，就想本地安装一下，环境是 window7，作为记录，便于以后查阅。基本环境jdk apache kafka 基于 java 实现，所以需要安装下 java 基本环境。λjava-versionjavaversion"1.8.0_102"Java(TM)SERuntimeEnvironment(build1....
Windows 系统下 Docker安装Kafka
最新发布
weixin_38959316的博客
07-30 297
1.拉取zookeeper并检查拉取是否成功　 2.安装zookeeper并检查是否创建容器成功 3.拉取kafka镜像 4.创建kafka容器（我使用得是windows，换行符为“^”,Linux 系统将“^”改成“\”） 5.验证Kafka是否正常运行 6.创建测试主题
Kafka（二）docker版安装入门
designer01的博客
08-13 1218
关键概念 生产者 消费者 broker 主题 分区 副本
docker安装kafka
chun2809的博客
10-15 289
docker安装kafka 1.docker search kafka 找到kafka合适的image,这里选择wurstmeister的 2.拉取镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka 3.启动zookeeper容器 mkdir -p /home/zookeeper/data mkdir -p /h...
win10系统docker安装kafka
sayoko06的博客
01-17 3093
由于kafka依赖zookeeper，所以使用到了docker-compose，由于我使用的是Docker Desktop，默认安装了docker-compose，否则需要自己安装，可以用下面命令检查是否安装了docker-compose docker-compose -v 这里就不介绍安装，直接上docker-compose.yml代码 version: '2' servi...
单机Docker部署应用Kraft模式的Kafka集群
sky的博客
01-02 2945
以ubuntu系统为基础，封装自己的镜像，使用单台主机模拟三台主机部署kraft模式的Kafka集群。
docker-compose安装kafka kraft
01-14
以下是使用docker-compose安装kafka kraft的步骤： 1. 创建一个名为`docker-compose.yml`的文件，并在其中定义kafka和zookeeper的服务配置。 ```yaml version: '3' services: zookeeper: image: confluentinc/cp-zookeeper:6.2.0 container_name: zookeeper ports: - "2181:2181" environment: - ZOOKEEPER_CLIENT_PORT=2181 - ZOOKEEPER_TICK_TIME=2000 kafka: image: confluentinc/cp-kafka:6.2.0 container_name: kafka depends_on: - zookeeper ports: - "9092:9092" environment: - KAFKA_BROKER_ID=1 - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 - KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:9092 - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 - KAFKA_AUTO_CREATE_TOPICS_ENABLE=false ``` 2. 打开终端，进入包含`docker-compose.yml`文件的目录，并运行以下命令启动kafka和zookeeper服务。 ```shell docker-compose up -d ``` 3. 等待一段时间，直到所有容器启动并运行。可以使用以下命令检查容器的状态。 ```shell docker-compose ps ``` 4. 现在，你的kafka和zookeeper服务已经在Docker容器中成功安装和运行了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值