在Docker环境下部署Kafka

最新推荐文章于 2025-10-16 13:28:09 发布

原创

最新推荐文章于 2025-10-16 13:28:09 发布 · 3w 阅读

17 ·

CC 4.0 BY-SA版权

本文介绍了如何在Docker环境中部署Kafka，包括下载wurstmeister/kafka和wurstmeister/zookeeper镜像，启动zookeeper，创建Kafka主题，运行生产者和消费者进行消息测试。

1、下载镜像

这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像

docker pull wurstmeister/zookeeper

docker pull wurstmeister/kafka

在命令中运行docker images验证两个镜像已经安装完毕

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

snowcity1231

关注关注

3
点赞
踩
17

收藏

觉得还不错? 一键收藏
7
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

docker-compose部署Kafka

chengbo_eva的博客

07-24

2238

在服务与服务的通信过程中，除了基本的http接口调用，还可以使用消息队列，比如RabbitMQ、RocketMQ及Kafka。今天介绍一下Kafa的搭建，依然还是使用docker-compose进行部署。说到Kafka，就不得不提到ZooKeeper，两者在很长一段时间都是配合使用，但随着kafka3.0的诞生，Kafka可以脱离ZooKeeper独自使用，那我们就从这两种方式进行分析。

docker-compose部署kafka集群

xianweijian的博客

07-02

1301

用于测试、开发环境部署kafka集群，实际上也可以用于生产环境，但是需要调整kafka集群参数、镜像系统参数，以达到kafka运行的最佳环境。本例因为资源有限，在一台服务器上进行集群模拟安装。

7 条评论您还未登录，请先登录后发表或查看评论

详解使用docker搭建kafka环境

09-30

本篇文章主要介绍了详解使用docker搭建kafka环境，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧

16、Docker Compose 安装Kafka（含Zookeeper）

最新发布

qq_39251691的博客

10-16

923

本文介绍了在CentOS 9上使用Docker Compose快速部署Kafka（含Zookeeper）的完整教程。主要内容包括：环境准备、Docker安装、Zookeeper和Kafka的Docker Compose配置详解、集群启动验证步骤，以及生产环境的注意事项。通过本教程，读者可以在几分钟内搭建一个单节点的Kafka开发测试环境，包含消息生产消费测试方法。文章特别强调了Zookeeper在Kafka集群中的核心作用，并提供了详细的配置参数说明，同时也指出了生产环境中需要考虑的集群扩展、安全加固和监控

Kafka on Docker

aLivable_Dedode的博客

12-23

240

//启动zookeeper docker run -d -p 2181:2181 –net=zoonet –name=zookeeper -e ZOOKEEPER_CLIENT_PORT=2181 wurstmeister/zookeeper //启动kafka docker run -d –net=zoonet –name kafka -p 9092:9092 -e KAFKA_...

docker 安装kafka_Kafka 实战（二）docker 与 windows 安装 kafka

weixin_39872893的博客

11-25

290

背景近期在使用 kafka，不过用的是阿里云的服务。一时心痒痒，就想本地安装一下，环境是 window7，作为记录，便于以后查阅。基本环境jdk apache kafka 基于 java 实现，所以需要安装下 java 基本环境。λjava-versionjavaversion"1.8.0_102"Java(TM)SERuntimeEnvironment(build1....

docker 部署kafka

weixin_57632548的博客

12-21

4925

随笔记录。

利用docker和docker-compose部署单机kafka

01-20

使用Docker部署Kafka非常便捷，只需两步： - 部署Zookeeper容器： ```shell docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper ``` - 部署Kafka容器，连接到Zookeeper： ```shell docker...

Docker部署Kafka以及Spring Kafka实现

01-11

这篇文章主要介绍了Docker部署Kafka以及Spring Kafka实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下从https://hub.docker.com/查找kafka 第三个活跃并...

docker compose快速部署kafka集群

sumengnan的博客

12-31

1353

kafka-console-ui为kafka的可视化web界面，访问7676端口。其中：KAFKA_ADVERTISED_LISTENERS为外网ip地址。先部署zookeeper集群，启动。再部署kafka集群。

docker安装kafka指令

03-14

docker 安装kafka指令（映射挂载宿主机）

Windows下利用Docker搭建Kafka服务

凤凰花の博客

03-04

911

Windows下利用Docker搭建kafka服务，并通过官方bat脚本及python代码使用该服务

windows安装docker，配置kafka及zookeeper

qq_45702104的博客

04-09

945

参考多篇文章，总结的在windows中如何下载docker并且配置好kafka以及zookeeper。

docker创建kafka

m0_43451420的博客

08-15

129

【代码】docker创建kafka。

WIN10下，基于Docker搭建Kafka集群

04-11

287

在WIN10下，通过Docker，搭建Kafka集群

Docker for windows 下 Kafka(kraft模式) 安装部署

m0_61913190的博客

02-27

2680

KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI #哪一，三个节点保持一致。# 定义kafka服务端socket监听端口（Docker内部的ip地址和端口）#定义外网访问地址（宿主机ip地址和端口。# 设置broker最大内存，和初始内存。# 标红处修改为自己主机IP。#标红处修改为自己主机IP。# 允许使用Kraft。,标红处修改为自己主机IP。标红处修改为自己的路径。标红处修改为自己的路径。标红处修改为自己的路径。

【Docker】手把手教你使用Docker安装kafka【详细教程】

热门推荐

m0_64210833的博客

11-03

3万+

手把手教你使用Docker安装kafka

Docker搭建kafka

qq_31728357的博客

08-01

1万+

docker简易搭建kafka 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：想分析一下用户行为，一遍我能设计出更好的广告位，相对用户的搜索关键字尽心统计，分析出前卫的流行趋势，有些数据存数据库浪费，直接存硬盘操作效率又低。kafka在这样的场景下就是个不错的选择。第一步搭建zookeeper环境在centos中，拉取zookeeper镜像，以及创建zookeeper容器: 1)docker pull wurstmeister/zookeeper 2)dock

docker环境下部署kafka集群,kafka和zookeeper采用SASL安全认证机制

03-29

<think>好的，我现在需要帮助用户解决在Docker环境中部署带有SASL安全认证机制的Kafka集群以及ZooKeeper配置的问题。首先，我得仔细分析用户的需求。用户提到了docker、kafka、zookeeper、sasl部署教程、安全认证和集群配置，所以需要覆盖这些方面。首先，我应该回忆一下相关的知识。Kafka通常依赖ZooKeeper进行集群管理，而SASL是一种认证机制，可以用于Kafka和ZooKeeper之间的通信安全。用户需要的是通过Docker Compose来部署这样的集群，并且配置SASL认证，确保通信的安全性。接下来，我需要参考用户提供的引用内容。引用[1]提到了ZooKeeper的SASL配置，包括认证提供者和JAAS配置。引用[2]和[3]则涉及使用Docker Compose部署Kafka和ZooKeeper集群，并配置SASL认证。因此，我需要将这些信息整合起来，形成一个完整的部署步骤。接下来，我需要考虑具体的步骤。首先，Docker Compose文件的编写是关键，需要定义ZooKeeper和Kafka的服务，并配置它们的网络、环境变量等。然后，生成必要的配置文件，比如JAAS配置文件、Kafka的server.properties和ZooKeeper的zoo.cfg。这些文件需要挂载到容器内的正确位置。另外，SASL的配置涉及到生成用户凭证，比如创建kafka_server_jaas.conf和zookeeper_server_jaas.conf，并在Docker环境中正确设置这些文件的路径。同时，Kafka和ZooKeeper的配置文件需要启用SASL认证，并指定相关的协议和机制。还需要注意集群的配置，比如Kafka的broker.id、advertised.listeners，以及ZooKeeper的集群配置，比如server.1、server.2等，确保各个节点能够正确通信。此外，数据卷的配置也很重要，确保数据持久化。可能遇到的问题包括环境变量的正确传递，文件路径的权限问题，以及SASL配置中的细节，比如PLAIN机制的使用和用户列表的配置。需要确保所有服务在启动时加载了正确的JAAS配置，并且网络配置允许节点间通信。最后，测试步骤也是必要的，比如使用kafka-console-producer和consumer验证消息的发送和接收，确保认证机制生效。同时，要提醒用户根据实际Docker版本调整Compose文件的版本，以及根据安全需求可能需要的进一步配置，比如SSL加密。总结一下，步骤大致分为准备Docker Compose文件、生成配置文件、配置SASL认证、设置集群参数、处理数据持久化、启动服务并进行测试。需要详细解释每个步骤，确保用户能够按部就班地完成部署，并理解各个配置项的作用。</think>### Docker环境下部署带SASL认证的Kafka集群与ZooKeeper配置指南 #### 一、基础环境准备 1. 创建专用网络和目录结构 ```bash mkdir -p kafka-cluster/{config,zk-data,kafka-data} cd kafka-cluster ``` 2. 生成SASL凭证文件 ```bash echo "admin:admin-secret" > config/kafka_server_jaas.conf echo "zkadmin:zkadmin-secret" > config/zookeeper_server_jaas.conf ``` #### 二、核心配置文件 1. ZooKeeper配置文件 `config/zoo.cfg` ``` tickTime=2000 dataDir=/data clientPort=2181 authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider requireClientAuthScheme=sasl jaasLoginRenew=3600000 server.1=zookeeper1:2888:3888 server.2=zookeeper2:2888:3888 server.3=zookeeper3:2888:3888 ``` 2. Kafka配置文件 `config/server.properties` ``` broker.id=1 listeners=SASL_PLAINTEXT://:9092 advertised.listeners=SASL_PLAINTEXT://kafka1:9092 security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=PLAIN sasl.enabled.mechanisms=PLAIN authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer ``` #### 三、Docker Compose文件 ```yaml version: '3.8' services: zookeeper1: image: zookeeper:3.8 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1=zookeeper1:2888:3888;2181 server.2=zookeeper2:2888:3888;2181 server.3=zookeeper3:2888:3888;2181 volumes: - ./config/zoo.cfg:/conf/zoo.cfg - ./zk-data/zookeeper1:/data networks: - kafka-net kafka1: image: confluentinc/cp-kafka:7.3.0 environment: KAFKA_OPTS: "-Djava.security.auth.login.config=/etc/kafka/kafka_server_jaas.conf" KAFKA_ZOOKEEPER_CONNECT: "zookeeper1:2181,zookeeper2:2181,zookeeper3:2181" volumes: - ./config/server.properties:/etc/kafka/server.properties - ./config/kafka_server_jaas.conf:/etc/kafka/kafka_server_jaas.conf networks: - kafka-net networks: kafka-net: driver: bridge ``` #### 四、SASL认证配置要点 1. ZooKeeper JAAS配置： ``` Server { org.apache.zookeeper.server.auth.DigestLoginModule required user_zkadmin="zkadmin-secret"; }; ``` 2. Kafka JAAS配置： ``` KafkaServer { org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="admin-secret" user_admin="admin-secret"; }; ``` #### 五、集群验证步骤 1. 启动服务： ```bash docker-compose up -d --scale zookeeper=3 --scale kafka=3 ``` 2. 测试消息生产/消费： ```bash # 生产者 docker exec -it kafka1 kafka-console-producer \ --topic test-topic \ --bootstrap-server kafka1:9092 \ --producer.config /etc/kafka/producer.properties # 消费者 docker exec -it kafka1 kafka-console-consumer \ --topic test-topic \ --from-beginning \ --bootstrap-server kafka1:9092 \ --consumer.config /etc/kafka/consumer.properties ``` [^1]: 引用[1]中的SASL配置参数已应用在ZooKeeper服务配置中 [^2]: Kafka的SASL/PLAIN认证机制参考了引用[2]的实现方法 [^3]: 集群部署架构设计基于引用[3]的分布式协调方案