docker-compose一键部署zookeeper、kafka、storm、flink分布式集群

已于 2023-12-09 16:46:05 修改
阅读量668 收藏 13
点赞数 11
文章标签： 分布式 docker zookeeper
于 2023-12-04 22:00:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qwjnb666/article/details/134794956
版权 
version: '3'

services:
  zookeeper1:
    image: zookeeper:3.8.2
    hostname: zookeeper1
    container_name: zookeeper1
    privileged: true
    restart: always
    networks:
      net_zoo_kafka:
    ports:
      - "2181:2181"
    volumes:
      - d:/app/docker/zookeeper/zookeeper1/conf:/conf
      - d:/app/docker/zookeeper/zookeeper1/data/zookeeper1/data:/data
      - d:/app/docker/zookeeper/zookeeper1/log/zookeeper1/datalog:/datalog
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=0.0.0.0:2888:3888;2181 server.2=zookeeper2:2888:3888;2181 server.3=zookeeper3:2888:3888;2181
      ALLOW_ANONYMOUS_LOGIN: "yes"

  zookeeper2:
    image: zookeeper:3.8.2
    hostname: zookeeper2
    container_name: zookeeper2
    privileged: true
    restart: always
    networks:
      net_zoo_kafka:
    ports:
      - "2182:2181"
    volumes:
      - d:/app/docker/zookeeper/zookeeper2/conf:/conf
      - d:/app/docker/zookeeper/zookeeper2/data/zookeeper2/data:/data
      - d:/app/docker/zookeeper/zookeeper2/log/zookeeper2/datalog:/datalog
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=zookeeper1:2888:3888;2181 server.2=0.0.0.0:2888:3888;2181 server.3=zookeeper3:2888:3888;2181
      ALLOW_ANONYMOUS_LOGIN: "yes"

  zookeeper3:
    image: zookeeper:3.8.2
    hostname: zookeeper3
    container_name: zookeeper3
    privileged: true
    restart: always
    networks:
      net_zoo_kafka:
    ports:
      - "2183:2181"
    volumes:
      - d:/app/docker/zookeeper/zookeeper3/conf:/conf
      - d:/app/docker/zookeeper/zookeeper3/data/zookeeper3/data:/data
      - d:/app/docker/zookeeper/zookeeper3/log/zookeeper3/datalog:/datalog
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=zookeeper1:2888:3888;2181 server.2=zookeeper2:2888:3888;2181 server.3=0.0.0.0:2888:3888;2181
      ALLOW_ANONYMOUS_LOGIN: "yes"

  kafka1:
    image: bitnami/kafka:3.5.1
    hostname: kafka1
    container_name: kafka1
    privileged: true
    restart: always
    networks:
      net_zoo_kafka:
    ports:
      - "9092:9092"
    environment:
      - ALLOW_NONE_AUTHENTICATION=yes
      - ALLOW_PLAINTEXT_LISTENER=yes 
      - KAFKA_BROKER_ID=2
      - KAFKA_CFG_LISTENERS=PLAINTEXT://0.0.0.0:9092
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka1:9092
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181/kafka
    volumes:
      - d:/app/docker/kafka/kafka1/docker.sock:/var/run/docker.sock
      - d:/app/docker/kafka/kafka1/data/:/kafka
    depends_on:
      - zookeeper1
      - zookeeper2
      - zookeeper3

  kafka2:
    image: bitnami/kafka:3.5.1
    hostname: kafka2
    container_name: kafka2
    privileged: true
    restart: always
    networks:
      net_zoo_kafka:
    ports:
      - "9093:9093"
    environment:
      - ALLOW_NONE_AUTHENTICATION=yes
      - ALLOW_PLAINTEXT_LISTENER=yes 
      - KAFKA_BROKER_ID=3
      - KAFKA_CFG_LISTENERS=PLAINTEXT://0.0.0.0:9093
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka2:9093
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181/kafka
    volumes:
      - d:/app/docker/kafka/kafka2/docker.sock:/var/run/docker.sock
      - d:/app/docker/kafka/kafka2/data/:/kafka
    depends_on:
      - zookeeper1
      - zookeeper2
      - zookeeper3

  kafka3:
    image: bitnami/kafka:3.5.1
    hostname: kafka3
    container_name: kafka3
    privileged: true
    restart: always
    networks:
      net_zoo_kafka:
    ports:
      - "9094:9094"
    environment:
      - ALLOW_NONE_AUTHENTICATION=yes
      - ALLOW_PLAINTEXT_LISTENER=yes 
      - KAFKA_BROKER_ID=4
      - KAFKA_CFG_LISTENERS=PLAINTEXT://0.0.0.0:9094
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka3:9094
      - KAFKA_ZOOKEEPER_CONNECT=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181/kafka
    volumes:
      - d:/app/docker/kafka/kafka3/docker.sock:/var/run/docker.sock
      - d:/app/docker/kafka/kafka3/data/:/kafka
    depends_on:
      - zookeeper1
      - zookeeper2
      - zookeeper3

  kafka-manager:
    image: sheepkiller/kafka-manager
    container_name: kafka-manager
    hostname: kafka-manager
    privileged: true
    networks:
      net_zoo_kafka:
    ports:
      - "9000:9000"
    depends_on:
      - zookeeper1
      - zookeeper2
      - zookeeper3
      - kafka1
      - kafka2
      - kafka3
    environment:
      ZK_HOSTS: zookeeper1:2181,zookeeper2:2182,zookeeper3:2183/kafka
      KAFKA_BROKERS: kafka1:9092,kafka2:9093,kafka3:9094
      APPLICATION_SECRET: letmein
      KM_ARGS: -Djava.net.preferIPv4Stack=true

  nimbus:
    image: storm:2.5.0
    container_name: nimbus
    command: storm nimbus
    networks:
      - net_zoo_kafka
    depends_on:
      - zookeeper1
      - zookeeper2
      - zookeeper3
    volumes:
      - D:/app/docker/storm/logs:/logs
      - D:/app/docker/storm/data:/data
    restart: always
    ports:
      - 6627:6627
      

  supervisor:
    image: storm:2.5.0
    container_name: supervisor
    command: storm supervisor
    networks:
      - net_zoo_kafka
    depends_on:
      - nimbus
      - zookeeper1
      - zookeeper2
      - zookeeper3
    restart: always
    ports:
      - 6633:6633

  ui:
    image: storm:2.5.0
    container_name: stormui
    command: storm ui
    networks:
      - net_zoo_kafka
    depends_on:
      - nimbus
      - zookeeper1
      - zookeeper2
      - zookeeper3
    restart: always
    ports:
      - 80:8080
      
  jobmanager:
    image: flink:1.18.0-scala_2.12-java8
    container_name: flink-jobmanager
    networks:
      - net_zoo_kafka
    expose:
      - "6123"
    ports:
      - "8082:8081"
    depends_on:
      - zookeeper1
      - zookeeper2
      - zookeeper3
    restart: always    
    volumes:
      - D:/app/docker/flink/conf:/opt/flink/conf
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=flink-jobmanager
      - JOB_MANAGER_HEAP_MEMORY=1024m
      - JOB_MANAGER_TOTAL_MEMORY=2048m
      - JOB_MANAGER_OFF_HEAP_MEMORY=256m
      - JOB_MANAGER_REST_PORT=8081 
      
  taskmanager1:
    image: flink:1.18.0-scala_2.12-java8
    container_name: flink-taskmanager1
    networks:
      - net_zoo_kafka
    depends_on:
      - jobmanager
      - zookeeper1
      - zookeeper2
      - zookeeper3
    expose:
      - "6123"
    volumes:
      - D:/app/docker/flink/conf:/opt/flink/conf
    command: taskmanager  
    environment:
      - JOB_MANAGER_RPC_ADDRESS=flink-jobmanager
      - TASK_MANAGER_NUMBER_OF_TASK_SLOTS=1
      - FLINK_TM_HEAP=1024m
      - FLINK_TM_MANAGED_MEMORY_SIZE=512m
      - FLINK_TM_REST_PORT=8082 

  taskmanager2:
    image: flink:1.18.0-scala_2.12-java8
    container_name: flink-taskmanager2
    networks:
      - net_zoo_kafka
    depends_on:
      - jobmanager
      - zookeeper1
      - zookeeper2
      - zookeeper3
    expose:
      - "6123" 
    volumes:
      - D:/app/docker/flink/conf:/opt/flink/conf
    command: taskmanager 
    environment:
      - JOB_MANAGER_RPC_ADDRESS=flink-jobmanager   
      - TASK_MANAGER_NUMBER_OF_TASK_SLOTS=1
      - FLINK_TM_HEAP=1024m
      - FLINK_TM_MANAGED_MEMORY_SIZE=512m
      - FLINK_TM_REST_PORT=8083 
  
networks:
  net_zoo_kafka:
    driver: bridge

使用上述文件内容，在文件路径下使用对应指令即可一键生成相关集群

docker-compose up -d

启动后需要更改一部分配置

flink需要提前设置conf文件，并添加以下内容，否则会导致jobmanager启动失败

high-availability: zookeeper
high-availability.zookeeper.quorum: zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
high-availability.storageDir: /opt/flink/ha
jobmanager.memory.heap.size: 1024m
jobmanager.memory.flink.size: 2048m
jobmanager.memory.process.size: 3072m
jobmanager.rpc.address: flink-jobmanager
blob.server.port: 6124
query.server.port: 6125
taskmanager.numberOfTaskSlots: 1

接着分别进入到storm相关容器内修改配置文件

storm.zookeeper.servers:
  - "zookeeper1"
  - "zookeeper2"
  - "zookeeper3"
nimbus.seeds: ["nimbus"]
storm.log.dir: "/logs"
storm.local.dir: "/data"

修改完成后即可

## 2023/12/09更新，解决了kafka外部无法连接的错误修改了flink的版本

我来啃臭C
关注
  • 11
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
【Flink实战】Flink对接Kafka Connetor使用docker部署kafka
大数据小禅的博客
09-13 1894
Docker 是一个开源的容器化平台，用于将应用程序和其依赖的环境打包成一个独立的容器，以实现应用程序的快速部署、可移植性和可伸缩性。0 传统的应用部署方式通常需要在目标环境中手动设置各种依赖项和配置，可能面临不同操作系统或软件版本之间的兼容性问题。而 Docker 可以通过容器的方式隔离应用程序和其依赖的环境，使得应用程序能够在任意系统上以相同的方式运行，并且不受目标环境的影响。
【Docker安装部署Zookeeper+Kafka集群详细教程、部署过程中遇到问题&解决方案】
2201_75875170的博客
11-01 684
首先对kafka进行配置，关于kafka消费者与生产者的配置还有很多，目前就配置了每次最多能够读取的消息数量。创建两个map数据结构来记录不同stock_name的trade_volume和每个stock_name的成交数量。我们首先创建一个名为stock_1的topic，而后对生产者进行配置。为了读取csv文件，使用的哦阿了apache 的csv库函数，将stock_name作为key，trade_value作为alue作为消息进行发送。4、 查看docker中运行的容器。
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca
kOS0ym的博客
05-10 449
*看看本地端口9000也确实起来了。
docker-compose 部署zookeeper集群 —— 筑梦之路
筑梦之路
06-05 2777
Zookeeper是一个开源的分布式协调服务中间件，它提供了一种分布式数据管理服务，能够实现分布式锁、命名服务、配置管理、集群管理等功能，从而帮助用户构建高可用、高性能的分布式系统。以下是Zookeeper的一些主要特点和功能：分布式协调服务：Zookeeper具有完备的分布式协调服务，如分布式锁、leader选举、命名服务、配置管理等，可以帮助用户构建高可用、高性能的分布式系统。
[docker-compose中间件集群系列] - 3 zookeeper的作用及原理、集群原理和集群搭建
HoZanDung的博客
03-28 346
zookeeper的作用及原理、集群原理和集群搭建
【中间件】通过 docker-compose 快速部署 Zookeeper 保姆级教程
匠人精神，持之以恒！
05-20 1359
Zookeeper是一个开源的分布式协调服务中间件，它提供了一种分布式数据管理服务，能够实现分布式锁、命名服务、配置管理、集群管理等功能，从而帮助用户构建高可用、高性能的分布式系统。以下是Zookeeper的一些主要特点和功能：分布式协调服务：Zookeeper具有完备的分布式协调服务，如分布式锁、leader选举、命名服务、配置管理等，可以帮助用户构建高可用、高性能的分布式系统。高可用性。
docker-compose一键部署环境包
10-09
docker-compose一键完成微服务各组件的安装包：nginx、sentinel、nacos、seata、mysql、Redis、skywaking、easicsearch、prmetheus、grafana等
docker-compose一键部署rocketmq
04-26
cd docker-rocketmq cd rmq chmod +x start.sh ./start.sh 不能设置权限777的同学可以设置如下 chown 3000:3000 ./rmqs/logs chown 3000:3000 ./rmqs/store chown 3000:3000 ./rmq/logs chown 3000:3000 ./rmq/...
基于x86-64架构CPU使用docker-compose一键离线部署zookeeper 3.8.4分布式集群工具
最新发布
07-29
2、支持单机伪集群部署（3 zookeeper）。 3、支持多机分布式机部署（3 zookeeper）。 4、支持数据目录、端口、JVM内存。 5、支持zookeeper配置文件、数据目录持久化。 6、支持部署、启动、停止、卸载、检测等操作。
利用docker和docker-compose部署单机kafka
01-20
如果使用Docker Compose，可以在`docker-compose.yml`文件中定义Zookeeper和Kafka服务，然后运行`docker-compose up`启动它们。这种方式有助于管理和扩展多服务应用。 6. **验证Kafka部署** - 检查容器状态：使用...
docker-compose一键搭建Redis集群
06-12
1.先运行 createFile.py 输入宿主机IP地址，输入redis密码 2.按照控制台输出执行docker-compose up -d 启动命令 3.启动成功后执行加入集群命令即可
【Docker安装部署Zookeeper+Kafka集群详细教程、部署过程中遇到问题&解决方案、测试集群是否部署成功】
Coder_ljw的博客
10-21 3537
【Docker安装部署Zookeeper+Kafka集群详细教程、遇到问题以及解决方案、测试是否部署成功】大部分人都是直接使用Docker-compose的方式直接部署，已经有很多了，这个地方我就不再用这样的方式实现啦，这篇文章我还是使用Docker命令的方式实现，如果Docker命令你能部署完成， 那么更简单直接的Docker-compose方式相信你也能完成。部署kafka集群中出现的问题(OpenJDK 64-Bit Server VM warning: ）
Docker-compose搭建zookeeper-zookeeper集群
Life is a starting point everywhere
04-24 1424
前言 最近在研究kafka与rabbitMQ对比，而因为自己电脑性能不是那么好，要搭建一个kafka集群和zookeeper集群最少也要开三台虚拟机，而且也挺麻烦，所以毋庸置疑选择了docker-compose来搭建一个伪分布式的集群。参考了很多资料，很多乱七八糟都是转发的，真正去研究的很少，所以在这里记录一下自己的搭建过程 软件版本 docker： Docker version 1.13.1,...
使用 Docker-compose 搭建 Zookeeper 集群
2301_79976546的博客
12-17 151
ZOO_MY_ID 和 ZOO_SERVERS 是搭建 ZK 集群需要设置的两个环境变量, 其中 ZOO_MY_ID 表示 ZK 服务的 id, 它是1-255 之间的整数, 必须在集群中唯一。ZOO_SERVERS 是ZK 集群的主机列表。可以看到 zoo1 和 zoo2 为当前集群的 follower，zoo3 为当前集群的 leader。改为 zookeeper:3.4.11 问题解决。
docker-compose zookeeper
极致，细节
05-20 819
创建网络 docker network create --driver=bridge --subnet=172.21.0.0/16 zookeeper 创建目录 mkdir -p /zookeeper 创建zabbix脚本 vim /zookeeper/docker-compose.yml version: '3.1' services: zoo1: image: zookeeper container_name: zookeepe...
单机部署zookeeper集群
weixin_41849346的博客
07-21 238
单机部署zookeeper集群 创建dockers-compose.yml version: '2' services: zoo1: image: zookeeper:3.4 restart: always container_name: zoo1 ports: - "2181:2181" environment: ZOO_MY_ID: 1 ZOO_
Flink会话集群docker-compose一键安装
core815的专栏
01-12 838
参考，本人这篇博客：https://blog.csdn.net/taotao_guiwang/article/details/135508643?
docker-compose搭建zookeeper+kafka集群
2301_81023618的博客
04-09 649
2. 规划zk和kafka的IP地址。三、创建zookeeper集群。1. 规划一个集群使用的子网。1. 创建zk.yaml文件。
docker-compose极速部署kafka3.2.0集群（含zookeeper集群）
成都_杨洋
02-16 4885
使用docker-compose极速部署kafka3.2.0，并开启JMX_PORT端口
docker-compose 快速部署 Zookeeper
12-19
以下是使用docker-compose快速部署Zookeeper的步骤： 1. 创建一个名为docker-compose.yaml的文件，并在其中定义Zookeeper服务的配置信息。示例配置如下： ```yaml version: '3' services: zookeeper: image: zookeeper restart: always ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1=zookeeper:2888:3888 ``` 2. 在终端中进入包含docker-compose.yaml文件的目录，并运行以下命令启动Zookeeper服务： ```shell docker-compose up -d ``` 3. 等待一段时间，Zookeeper服务将会启动并运行在容器中。 4. 使用以下命令检查Zookeeper服务的运行状态： ```shell docker-compose ps ``` 你将会看到一个名为zookeeper的容器正在运行。 5. 现在，你可以使用Zookeeper客户端命令与Zookeeper进行交互。例如，你可以使用以下命令连接到Zookeeper服务： ```shell docker-compose exec zookeeper zkCli.sh ``` 6. 接下来，你可以使用Zookeeper客户端命令执行各种操作，例如创建节点、查看节点、更新节点和删除节点等。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值