docker-compose部署kafka单机和集群

最新推荐文章于 2024-06-06 23:00:18 发布
最新推荐文章于 2024-06-06 23:00:18 发布
阅读量1.9k 收藏 29
点赞数 28
分类专栏： kafka docker 文章标签： docker kafka 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xyq10612/article/details/135364132
版权

版本选择

使用 docker-compose 部署 Kafka:3.5。

从 3.3 版本后，Kafka 引入了 KRaft 来替代 ZooKeeper，所以我们不必再部署 zk 了。

单机部署

记得修改 KAFKA_CFG_ADVERTISED_LISTENERS 的 ip 为自己的

version: "2"

services:
  kafka:
    container_name: kafka
    image: 'bitnami/kafka:3.5'
    ports:
      - '19092:9092'
      - '19093:9093'
    environment:
      ### 通用配置
      # 允许使用kraft，即Kafka替代Zookeeper
      - KAFKA_ENABLE_KRAFT=yes
      - KAFKA_CFG_NODE_ID=1
      # kafka角色，做broker，也要做controller
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
      # 定义kafka服务端socket监听端口（Docker内部的ip地址和端口）
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
      # 定义外网访问地址（宿主机ip地址和端口）ip不能是0.0.0.0
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://ip:19092
      # 定义安全协议
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      # 集群地址
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka:9093
      # 指定供外部使用的控制类请求信息
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      # 设置broker最大内存，和初始内存
      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
      # 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可(22byte)
      - KAFKA_KRAFT_CLUSTER_ID=xYcCyHmJlIaLzLoBzVwIcP
      # 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
      - ALLOW_PLAINTEXT_LISTENER=yes
      # 不允许自动创建主题
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false
      # broker.id，必须唯一，且与KAFKA_CFG_NODE_ID一致
      - KAFKA_BROKER_ID=1

集群部署

记得修改 KAFKA_CFG_ADVERTISED_LISTENERS 的 ip 地址为自己的

我们之后测试肯定用集群部署，就算是测试，也不用单机模式，单机就是玩具哈 = =

这里部署了 3 个 Broker，即 Kafka1、Kafka2 和 Kafka3

version: "2"

services:
  kafka1:
    container_name: kafka1
    image: 'bitnami/kafka:3.5'
    ports:
      - '19092:9092'
      - '19093:9093'
    environment:
      ### 通用配置
      # 允许使用kraft，即Kafka替代Zookeeper
      - KAFKA_ENABLE_KRAFT=yes
      - KAFKA_CFG_NODE_ID=1
      # kafka角色，做broker，也要做controller
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
      # 定义kafka服务端socket监听端口（Docker内部的ip地址和端口）
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
      # 定义外网访问地址（宿主机ip地址和端口）ip不能是0.0.0.0
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://ip:19092
      # 定义安全协议
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      # 集群地址
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093
      # 指定供外部使用的控制类请求信息
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      # 设置broker最大内存，和初始内存
      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
      # 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可(22byte)
      - KAFKA_KRAFT_CLUSTER_ID=xYcCyHmJlIaLzLoBzVwIcP
      # 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
      - ALLOW_PLAINTEXT_LISTENER=yes
      # 不允许自动创建主题
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false
      # broker.id，必须唯一，且与KAFKA_CFG_NODE_ID一致
      - KAFKA_BROKER_ID=1
    volumes:
      - ./kafka/broker1:/bitnami/kafka:rw

  kafka2:
    container_name: kafka2
    image: 'bitnami/kafka:3.5'
    ports:
      - '29092:9092'
      - '29093:9093'
    environment:
      ### 通用配置
      # 允许使用kraft，即Kafka替代Zookeeper
      - KAFKA_ENABLE_KRAFT=yes
      - KAFKA_CFG_NODE_ID=2
      # kafka角色，做broker，也要做controller
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
      # 定义kafka服务端socket监听端口（Docker内部的ip地址和端口）
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
      # 定义外网访问地址（宿主机ip地址和端口）ip不能是0.0.0.0
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://ip:29092
      # 定义安全协议
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      # 集群地址
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093
      # 指定供外部使用的控制类请求信息
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      # 设置broker最大内存，和初始内存
      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
      # 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可(22byte)
      - KAFKA_KRAFT_CLUSTER_ID=xYcCyHmJlIaLzLoBzVwIcP
      # 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
      - ALLOW_PLAINTEXT_LISTENER=yes
      # 不允许自动创建主题
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false
      # broker.id，必须唯一，且与KAFKA_CFG_NODE_ID一致
      - KAFKA_BROKER_ID=2
    volumes:
      - ./kafka/broker2:/bitnami/kafka:rw

  kafka3:
    container_name: kafka3
    image: 'bitnami/kafka:3.5'
    ports:
      - '39092:9092'
      - '39093:9093'
    environment:
      ### 通用配置
      # 允许使用kraft，即Kafka替代Zookeeper
      - KAFKA_ENABLE_KRAFT=yes
      - KAFKA_CFG_NODE_ID=3
      # kafka角色，做broker，也要做controller
      - KAFKA_CFG_PROCESS_ROLES=controller,broker
      # 定义kafka服务端socket监听端口（Docker内部的ip地址和端口）
      - KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093
      # 定义外网访问地址（宿主机ip地址和端口）ip不能是0.0.0.0
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://ip:39092
      # 定义安全协议
      - KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT
      # 集群地址
      - KAFKA_CFG_CONTROLLER_QUORUM_VOTERS=1@kafka1:9093,2@kafka2:9093,3@kafka3:9093
      # 指定供外部使用的控制类请求信息
      - KAFKA_CFG_CONTROLLER_LISTENER_NAMES=CONTROLLER
      # 设置broker最大内存，和初始内存
      - KAFKA_HEAP_OPTS=-Xmx512M -Xms256M
      # 使用Kafka时的集群id，集群内的Kafka都要用这个id做初始化，生成一个UUID即可(22byte)
      - KAFKA_KRAFT_CLUSTER_ID=xYcCyHmJlIaLzLoBzVwIcP
      # 允许使用PLAINTEXT监听器，默认false，不建议在生产环境使用
      - ALLOW_PLAINTEXT_LISTENER=yes
      # 不允许自动创建主题
      - KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false
      # broker.id，必须唯一，且与KAFKA_CFG_NODE_ID一致
      - KAFKA_BROKER_ID=3
    volumes:
      - ./kafka/broker3:/bitnami/kafka:rw

踩坑 volumes 权限问题

这里把镜像里的路径挂载到宿主机了，但是这里开启的时候会遇到一个权限报错：

mkdir: cannot create directory '/bitnami/kafka/config': Permission denied

第一次开启后，./kafka/… 下的目录都创建好了，此时需要给 1001 用户和组添加权限：

sudo chown -R 1001:1001 kafka

再次启动镜像就没问题了~

这个问题 stackoverflow 和 github issues 都有提及：

[bitnami/kafka] Cannot create directory ‘/bitnami/kafka/config’: Permission denied · Issue #41422 · bitnami/containers (github.com)

kubernetes - mkdir: cannot create directory ‘/bitnami/kafka/config’: Permission denied - Stack Overflow

在 issues 中有这样的回复：

Yes, if the directory from your host is mapped to the container using a volume, the owner of that directory should be the UID 1001

所以我们上面加了权限后，就可以正常运行了。

轻量级 Kafka 可视化工具 —— kafka-console-ui

这里我使用国内大佬开发的一个管理平台：xxd763795151/kafka-console-ui: 一款快捷易用的轻量级kafka可视化管理平台 (github.com)

依然是使用 docker-compose 部署：

version: '3'
services:
  # 服务名
  kafka-console-ui:
    # 容器名
    container_name: "kafka-console-ui"
    # 端口
    ports:
      - "7766:7766"
    # 持久化
    # volumes:
      # - ./data:/app/data
      # - ./log:/app/log
    # 防止读写文件有问题
    privileged: true
    user: root
    # 镜像地址
    image: "wdkang/kafka-console-ui"
    expose:
      - "7766"

配置集群

打开管理工具的运维界面kafka-console-ui，我这里部署在了本地

选择集群切换 -> 新增集群，填好配置后，选择切换，就可以管理我们的 kafka 集群了

在这里插入图片描述

*注意 & PS

  1. KAFKA_CFG_ADVERTISED_LISTENERS 外网访问的 ip 地址不能是 0.0.0.0

  2. KAFKA_BROKER_ID 必须与 KAFKA_CFG_NODE_ID 保持一致

  3. KAFKA_KRAFT_CLUSTER_ID 可以使用菜鸟工具生成一个 22 位随机字符

  4. 以上两个部署 kafka 的 yaml 文件中，都设置了 KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=false，表示不自动创建 topic，必须手动创建，比如可以通过 kafka-console-ui 的 Topic 页签来操作：

在这里插入图片描述

参考 & 致谢

docker安装kafka(Kraft集群版) - 掘金 (juejin.cn)

kubernetes - mkdir: cannot create directory ‘/bitnami/kafka/config’: Permission denied - Stack Overflow

[bitnami/kafka] Cannot create directory ‘/bitnami/kafka/config’: Permission denied · Issue #41422 · bitnami/containers (github.com)

kafka(kraft模式)3.*集群容器部署 docker-compose - mrdongdong - 博客园 (cnblogs.com)

Docker Hub

kafka-console-ui/document/deploy/docker部署.md at main · xxd763795151/kafka-console-ui (github.com)

DebugEve
关注
  • 28
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka（一）使用Docker Compose安装单机Kafka以及Kafka UI_docker 部署单机kafka
2401_84166413的博客
04-15 555
【代码】Kafka（一）使用Docker Compose安装单机Kafka以及Kafka UI_docker 部署单机kafka。
利用docker和docker-compose部署单机kafka
01-20
本文将详细介绍如何使用Docker和Docker Compose部署单机版Apache Kafka，以及如何进行测试和验证其工作状态。 1. **Docker基础** Docker是一种流行的容器化技术，它允许我们将应用程序及其依赖环境打包成独立的可...
docker学习（一）安装kafka以及构建kafka集群
pingfanblog
01-12 783
docker使用kafka简单搭建单机kafka和集群kafka
docker-compose部署 kafka 3.7 集群（3台服务器）并启用账号密码认证
最新发布
运维玄德公
06-06 984
docker-compose部署 kafka 3.7 集群（3台服务器）并启用账号密码认证
Kafka学习篇1：Docker安装Kafka（单机默认参数版，依赖于Zookeeper）
Mccson的博客
03-30 3043
单机版Kafka的Docker简易安装（Zookeeper模式）。 注：本文仅适用于有Docker容器使用基础、Linux命令基础的编程人员，请确保Linux中已经安装了Docker。
【docker】docker-compose安装带ui页面的kafka集群
qq_42987796的博客
08-04 1811
kafka的快速安装
docker出现问题：启动nexus时报错mkdir: cannot create directory : Permission denied解决方案
热门推荐
小虚竹的专栏
03-21 3万+
docker出现问题：启动nexus时报错mkdir: cannot create directory '../sonatype-work/nexus3': Permission denied解决方案
docker container中mkdir: cannot create directory 'bai': Permission denied
baiyuwujia的博客
03-19 6377
root账户进入container: docker ps -a # 查看所有container docker exec -it --user root baiyu /bin/bash # 进入container cd home/ chmod 777 baiyu
docker-compose部署zk+kafka+storm集群的实现
01-09
总结，这个配置实现了 ZooKeeper、Kafka、Storm 和 InfluxDB 的集群部署，利用 Docker Compose 提供了一种简化部署和管理的方式。通过这种方式，可以快速地搭建和扩展大数据处理环境，同时保持各个组件之间的通信和...
bitnami版本的zookeeper和kafka的docker-compose配置
02-15
这个Docker Compose 文件定义了一个包含Zookeeper和三个Kafka节点...整体而言，这个Docker Compose 文件提供了一个简单且可扩展的方式来搭建和管理Zookeeper和Kafka的集群环境。 对了，这个集群配置是支持外部访问的。
docker-kafka-cluster集群安装
02-22
使用Docker部署Kafka集群，可以简化环境配置，提高部署效率，同时也便于进行扩展和维护。通过理解Kafka的配置选项，我们可以更好地定制和优化集群以满足具体需求。结合Zookeeper管理Kafka的元数据，可以在分布式环境...
docker安装kafka指令
03-14
docker 安装kafka指令（映射挂载宿主机）
docker-compose.yml
04-02
通过docker-compose一键搭建kafka集群及kafka管理工具,只需修改文档中标注的三个地方的ip地址即可
elk的docker-compose配置
12-17
总结，通过Docker Compose部署ELK栈提供了一种便捷的方法，使得在本地或生产环境中快速设置和管理日志分析系统成为可能。这种方法具有可扩展性，易于维护，同时也简化了升级和备份过程。通过理解每个组件的作用以及...
Docker 实战(四) 搭建 kafka集群
01-20
kafka是一个分布式的数据库，所以需要zookeeper作为集群的头部 kafka使用广泛，在大数据处理与分析中作用很大，接下来是根据dockerHub上已有的kafka镜像进行搭建的 资料来源 使用 wurstmeister/zookeeper 和 ...
docker-compose-files：一些典型的docker compose模板
02-02
安装Docker＆Docker Compose $ curl -sSL https://get.docker.com/ | sh $ sudo pip install docker-compose Docker撰写用法 请参阅。 示例文件 使用领事制作可发现服务的体系结构。 ELK示例。 麋鹿群集，具有...
解决mkdir: can‘t create directory ‘/var/lib/grafana/plugins‘: Permission denied
空山新雨后，天气晚来秋
09-03 5512
mkdir: can't create directory '/var/lib/grafana/plugins': Permission denied
docker存储卷
只是个人笔记，请见谅
08-30 238
[root@docker ~]# docker run -it -v /zyy --rm nginx /bin/bash root@4681974e44f8:/# ls zyy root@4681974e44f8:/# mkdir /zyy/web root@4681974e44f8:/# mkdir zyy/web2 [root@docker ~]# docker inspect 4681974e44f8 "Mounts": [ { "Type
基于docker搭建kafka集群
wy971744839的博客
04-24 259
基于docker搭建kafka集群（单机）
docker-compose搭建部署kafka的yaml文件
07-08
你可以使用以下的docker-compose.yaml文件来部署Kafka： ```yaml version: '3' services: zookeeper: image: 'bitnami/zookeeper:latest' ports: - '2181:2181' environment: - ALLOW_ANONYMOUS_LOGIN=yes kafka: image: 'bitnami/kafka:latest' ports: - '9092:9092' environment: - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 - ALLOW_PLAINTEXT_LISTENER=yes - KAFKA_CREATE_TOPICS=my_topic:1:1 ``` 这个docker-compose.yaml文件定义了两个服务：zookeeper和kafka。zookeeper用于管理kafka集群的状态，而kafka是消息队列和流处理平台。 在这个文件中，我们使用了bitnami提供的官方镜像，可以根据需要调整镜像的版本。 在zookeeper服务中，我们将容器的2181端口映射到主机的2181端口，以便能够通过主机访问zookeeper。同时，我们设置了一个环境变量ALLOW_ANONYMOUS_LOGIN为yes，允许匿名登录。 在kafka服务中，我们将容器的9092端口映射到主机的9092端口，以便能够通过主机访问kafka。我们设置了几个环境变量来配置kafka的连接和监听器。KAFKA_ZOOKEEPER_CONNECT指定了zookeeper的地址和端口，KAFKA_ADVERTISED_LISTENERS指定了kafka的监听地址和端口，ALLOW_PLAINTEXT_LISTENER设置为yes允许使用明文传输。最后，我们使用KAFKA_CREATE_TOPICS创建了一个名为my_topic的topic，分区数为1，副本数为1。 你可以将这个docker-compose.yaml文件保存为一个文件，然后在该文件所在的目录中运行`docker-compose up -d`命令来启动Kafka集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值