docker搭建kafka集群

最新推荐文章于 2024-02-27 12:01:02 发布
最新推荐文章于 2024-02-27 12:01:02 发布
阅读量397 收藏
点赞数
分类专栏： Docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jb19900111/article/details/103180273
版权 
[root@warship ~]# mkdir ./{zoo1/{data,datalog},zoo2/{data,datalog},zoo3/{data,datalog}} -p
[root@warship ~]# mkdir ./kafka/{broker1,broker2,broker3} -p
[root@warship ~]# docker network create zoo_kafka  --subnet  172.23.0.0/24
[root@warship ~]# tree zk
zk
├── docker-compose.yml
├── zoo1
│   ├── data
│   │   ├── myid
│   │   └── version-2
│   │       ├── acceptedEpoch
│   │       └── currentEpoch
│   └── datalog
│       └── version-2
│           ├── log.100000001
│           ├── log.200000001
│           ├── log.300000001
│           └── log.400000001
├── zoo2
│   ├── data
│   │   ├── myid
│   │   └── version-2
│   │       ├── acceptedEpoch
│   │       └── currentEpoch
│   └── datalog
│       └── version-2
│           ├── log.100000001
│           ├── log.200000001
│           ├── log.300000001
│           └── log.400000001
└── zoo3
    ├── data
    │   ├── myid
    │   └── version-2
    │       ├── acceptedEpoch
    │       └── currentEpoch
    └── datalog
        └── version-2
            ├── log.100000001
            ├── log.200000001
            ├── log.300000001
            └── log.400000001

15 directories, 22 files
[root@warship ~]# tree kafka
kafka
├── broker1
├── broker2
├── broker3
└── docker-compose.yml

3 directories, 1 file
[root@warship ~]# cat zk/docker-compose.yml 
version: '2'
services:
  zoo1:
    image: zookeeper:3.4 # 镜像名称
    restart: always # 当发生错误时自动重启
    hostname: zoo1
    container_name: zoo1
    privileged: true
    ports: # 端口
      - 2181:2181
    volumes: # 挂载数据卷
      - ./zoo1/data:/data
      - ./zoo1/datalog:/datalog 
    environment:
      TZ: Asia/Shanghai
      ZOO_MY_ID: 1 # 节点ID
      ZOO_PORT: 2181 # zookeeper端口号
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 # zookeeper节点列表
    networks:
      default:
        ipv4_address: 172.23.0.11

  zoo2:
    image: zookeeper:3.4
    restart: always
    hostname: zoo2
    container_name: zoo2
    privileged: true
    ports:
      - 2182:2181
    volumes:
      - ./zoo2/data:/data
      - ./zoo2/datalog:/datalog
    environment:
      TZ: Asia/Shanghai
      ZOO_MY_ID: 2
      ZOO_PORT: 2181
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
    networks:
      default:
        ipv4_address: 172.23.0.12

  zoo3:
    image: zookeeper:3.4
    restart: always
    hostname: zoo3
    container_name: zoo3
    privileged: true
    ports:
      - 2183:2181
    volumes:
      - ./zoo3/data:/data
      - ./zoo3/datalog:/datalog
    environment:
      TZ: Asia/Shanghai
      ZOO_MY_ID: 3
      ZOO_PORT: 2181
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
    networks:
      default:
        ipv4_address: 172.23.0.13

networks:
  default:
    external:
      name: zoo_kafka
[root@warship ~]# cat zk/docker-compose.yml 
version: '2'
services:
  zoo1:
    image: zookeeper:3.4 # 镜像名称
    restart: always # 当发生错误时自动重启
    hostname: zoo1
    container_name: zoo1
    privileged: true
    ports: # 端口
      - 2181:2181
    volumes: # 挂载数据卷
      - ./zoo1/data:/data
      - ./zoo1/datalog:/datalog 
    environment:
      TZ: Asia/Shanghai
      ZOO_MY_ID: 1 # 节点ID
      ZOO_PORT: 2181 # zookeeper端口号
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 # zookeeper节点列表
    networks:
      default:
        ipv4_address: 172.23.0.11

  zoo2:
    image: zookeeper:3.4
    restart: always
    hostname: zoo2
    container_name: zoo2
    privileged: true
    ports:
      - 2182:2181
    volumes:
      - ./zoo2/data:/data
      - ./zoo2/datalog:/datalog
    environment:
      TZ: Asia/Shanghai
      ZOO_MY_ID: 2
      ZOO_PORT: 2181
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
    networks:
      default:
        ipv4_address: 172.23.0.12

  zoo3:
    image: zookeeper:3.4
    restart: always
    hostname: zoo3
    container_name: zoo3
    privileged: true
    ports:
      - 2183:2181
    volumes:
      - ./zoo3/data:/data
      - ./zoo3/datalog:/datalog
    environment:
      TZ: Asia/Shanghai
      ZOO_MY_ID: 3
      ZOO_PORT: 2181
      ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888
    networks:
      default:
        ipv4_address: 172.23.0.13

networks:
  default:
    external:
      name: zoo_kafka
[root@warship ~]# cat kafka/docker-compose.yml 
version: '2'

services:
  broker1:
    image: wurstmeister/kafka
    restart: always
    hostname: broker1
    container_name: broker1
    privileged: true
    ports:
      - "9091:9092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_LISTENERS: PLAINTEXT://broker1:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://broker1:9092
      KAFKA_ADVERTISED_HOST_NAME: broker1
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
      JMX_PORT: 9988
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - ./broker1:/kafka/kafka\-logs\-broker1
    external_links:
    - zoo1
    - zoo2
    - zoo3
    networks:
      default:
        ipv4_address: 172.23.0.14

  broker2:
    image: wurstmeister/kafka
    restart: always
    hostname: broker2
    container_name: broker2
    privileged: true
    ports:
      - "9092:9092"
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_LISTENERS: PLAINTEXT://broker2:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://broker2:9092
      KAFKA_ADVERTISED_HOST_NAME: broker2
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
      JMX_PORT: 9988
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - ./broker2:/kafka/kafka\-logs\-broker2
    external_links:  # 连接本compose文件以外的container
    - zoo1
    - zoo2
    - zoo3
    networks:
      default:
        ipv4_address: 172.23.0.15

  broker3:
    image: wurstmeister/kafka
    restart: always
    hostname: broker3
    container_name: broker3
    privileged: true
    ports:
      - "9093:9092"
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_LISTENERS: PLAINTEXT://broker3:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://broker3:9092
      KAFKA_ADVERTISED_HOST_NAME: broker3
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_ZOOKEEPER_CONNECT: zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
      JMX_PORT: 9988
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - ./broker3:/kafka/kafka\-logs\-broker3
    external_links:  # 连接本compose文件以外的container
    - zoo1
    - zoo2
    - zoo3
    networks:
      default:
        ipv4_address: 172.23.0.16

  kafka-manager:
    image: sheepkiller/kafka-manager:latest
    restart: always
    container_name: kafka-manager
    hostname: kafka-manager
    ports:
      - "9000:9000"
    links:            # 连接本compose文件创建的container
      - broker1
      - broker2
      - broker3
    external_links:   # 连接本compose文件以外的container
      - zoo1
      - zoo2
      - zoo3
    environment:
      ZK_HOSTS: zoo1:2181/kafka1,zoo2:2181/kafka1,zoo3:2181/kafka1
      KAFKA_BROKERS: broker1:9092,broker2:9092,broker3:9092
      APPLICATION_SECRET: letmein
      KM_ARGS: -Djava.net.preferIPv4Stack=true
    networks:
      default:
        ipv4_address: 172.23.0.10

networks:
  default:
    external:   # 使用已创建的网络
      name: zoo_kafka

如果使用docker pull zookeeper获取zookeeper最新版的镜像，无法启动zookeeper集群，原因未明。

参考：
https://blog.csdn.net/qq_25934401/article/details/84840740
https://blog.csdn.net/dingjianmin/article/details/88594838

对World说Hello
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
docker容器中搭建kafka集群环境.doc
11-07
docker容器中搭建kafka集群环境，kafka集群配置注意事项与优化
Docker搭建kafka集群
weixin_48412846的博客
01-18 4231
Docker搭建kafka集群
Docker搭建Kafka集群
u011651342的博客
09-28 9287
详细讲解docker如何搭建Kafka集群
Docker for windows 下 Kafka(kraft模式) 安装部署
最新发布
m0_61913190的博客
02-27 1186
KAFKA_KRAFT_CLUSTER_ID=iZWRiSqjZAlYwlKEqHFQWI #哪一，三个节点保持一致。# 定义kafka服务端socket监听端口（Docker内部的ip地址和端口）#定义外网访问地址（宿主机ip地址和端口。# 设置broker最大内存，和初始内存。# 标红处修改为自己主机IP。#标红处修改为自己主机IP。# 允许使用Kraft。,标红处修改为自己主机IP。标红处修改为自己的路径。标红处修改为自己的路径。标红处修改为自己的路径。
docker安装 kafka集群
Java+GO+JS全栈工程师-鹤冲天的博客：编程辅导~商务合作~技术交流
01-05 6416
kafka是分布式的、基于发布/订阅模式的消息队列。本文使用docker安装 kafka集群
【Kafka】docker部署Kafka集群
Felier's Blog
06-23 2815
docker部署Kafka集群
docker搭建kafka集群并测试完整版
yyjysh0216的博客
11-07 2011
关于如何在windows上搭建docker kafka集群虚拟环境
Docker搭建Zookeeper&Kafka集群的实现
09-29
主要介绍了Docker搭建Zookeeper&Kafka集群的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
详解使用docker搭建kafka环境
09-30
本篇文章主要介绍了详解使用docker搭建kafka环境 ，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
docker容器中搭建kafka集群环境 - 副本.doc
03-20
docker容器中搭建kafka集群环境
Docker 实战(四) 搭建 kafka集群
01-20
kafka使用广泛，在大数据处理与分析中作用很大，接下来是根据dockerHub上已有的kafka镜像进行搭建的 资料来源 使用 wurstmeister/zookeeper 和 wurstmeister/kafka 作为本次的镜像使用 简要版本搭建 dockerHub官方...
【Docker】手把手教你使用Docker安装kafka【详细教程】
热门推荐
m0_64210833的博客
11-03 1万+
手把手教你使用Docker安装kafka
docker快速搭建kafka集群
大海技术博客
10-26 1480
之所以这样指定网络而不是在编排文件中指定网络为一个网络段的原因是因为考虑到后面可能kafka和zookeeper分布在6台机器上，到时使用docker swarm构建docker 集群，网络处理就很方便，不用修改编排文件。因为为每台容器都新增了一个网络，如果不重启，容器用的还是之前的网络，就会导致kafka和kafka-manager是ping不通zookeeper的三个容器的。说明kafka集群构建好了，并且kafka集群已经完成了和zookeeper集群的互通。6、构建zookeeper集群。
【Kafka集群搭建，包括docker整合kafka、zookeeper、nginx部署】
qq_45442178的博客
06-12 528
Topic 是一个逻辑概念，Partition 是最小的存储单元，掌握着一个 Topic 的部分数据。Kafka为了到达高可用，每个分区(Partition)都会多个副本，其中有且仅有一个作为leader,leader负责当前消息的读写Partition。docker run -it -d --name 要取的别名 -p 宿主机端口:容器端口 -v 宿主机文件存储位置:容器内文件位置。ISR，In-Sync Replicas，是指及时副本同步列表，消息同步的频率或者时效达到一定要求副本。
docker kafka 集群安装
湫然的博客
12-12 261
docker kafka 集群安装
基于docker搭建kafka集群
wy971744839的博客
04-24 240
基于docker搭建kafka集群（单机）
使用Docker容器搭建Kafka集群的详细过程讲解
03-17 809
到此这篇关于Docker容器 Kafka集群的搭建的文章就介绍到这了。启动3个Kafka节点。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值