基于docker compose 搭建kafka集群

最新推荐文章于 2024-06-03 19:29:05 发布
最新推荐文章于 2024-06-03 19:29:05 发布
阅读量681 收藏 5
点赞数 1
分类专栏： Java 后端 文章标签： docker kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37496470/article/details/125321043
版权

新建docker网络

docker network create docker-net --subnet 172.20.10.0/16
docker network ls

集群规划

zook1172.20.10.112184:2181
zook2172.20.10.122185:2181
zook3172.20.10.132186:2181
broker1172.20.10.14内部9091:9091，外部9191:9191
broker2172.20.10.15内部9092:9092，外部9192:9192
broker3172.20.10.16内部9093:9093，外部9193:9193
kafka manager172.20.10.10内部9000:9000，外部9002：9002

新建一个文件夹 在文件夹下面新建文件zk-docker-compose.yml

version: '2'

services:
  zook1:
    image: zookeeper:latest
    #restart: always #自动重新启动
    hostname: zook1
    container_name: zook1 #容器名称，方便在rancher中显示有意义的名称
    ports:
    - 2183:2181 #将本容器的zookeeper默认端口号映射出去
    volumes: # 挂载数据卷 前面是宿主机即本机的目录位置，后面是docker的目录
    - "/Users/konsy/Development/volume/zkcluster/zook1/data:/data"
    - "/Users/konsy/Development/volume/zkcluster/zook1/datalog:/datalog"
    - "/Users/konsy/Development/volume/zkcluster/zook1/logs:/logs"
    environment:
        ZOO_MY_ID: 1  #即是zookeeper的节点值，也是kafka的brokerid值
        ZOO_SERVERS: server.1=zook1:2888:3888;2181 server.2=zook2:2888:3888;2181 server.3=zook3:2888:3888;2181
    networks:
        docker-net:
            ipv4_address: 172.20.10.11

  zook2:   
    image: zookeeper:latest
    #restart: always #自动重新启动
    hostname: zook2
    container_name: zook2 #容器名称，方便在rancher中显示有意义的名称
    ports:
    - 2184:2181 #将本容器的zookeeper默认端口号映射出去
    volumes:
    - "/Users/konsy/Development/volume/zkcluster/zook2/data:/data"
    - "/Users/konsy/Development/volume/zkcluster/zook2/datalog:/datalog"
    - "/Users/konsy/Development/volume/zkcluster/zook2/logs:/logs"
    environment:
        ZOO_MY_ID: 2  #即是zookeeper的节点值，也是kafka的brokerid值
        ZOO_SERVERS: server.1=zook1:2888:3888;2181 server.2=zook2:2888:3888;2181 server.3=zook3:2888:3888;2181
    networks:
        docker-net:
            ipv4_address: 172.20.10.12
            
  zook3:   
    image: zookeeper:latest
    #restart: always #自动重新启动
    hostname: zook3
    container_name: zook3 #容器名称，方便在rancher中显示有意义的名称
    ports:
    - 2185:2181 #将本容器的zookeeper默认端口号映射出去
    volumes:
    - "/Users/konsy/Development/volume/zkcluster/zook3/data:/data"
    - "/Users/konsy/Development/volume/zkcluster/zook3/datalog:/datalog"
    - "/Users/konsy/Development/volume/zkcluster/zook3/logs:/logs"
    environment:
        ZOO_MY_ID: 3  #即是zookeeper的节点值，也是kafka的brokerid值
        ZOO_SERVERS: server.1=zook1:2888:3888;2181 server.2=zook2:2888:3888;2181 server.3=zook3:2888:3888;2181
    networks:
        docker-net:
            ipv4_address: 172.20.10.13
networks:
  docker-net:
      name: docker-net

执行脚本部署zookeeper至Docker:

docker-compose -p zookeeper -f zk-docker-compose.yml up -d

注：在当前目录下执行，如果没有安装docker-compose先去安装docker-compose

Kafka集群安装

新建文件kafka-docker-compose.yml

version: '2'

services:
  broker1:
    image: docker.io/wurstmeister/kafka
    #restart: always #自动重新启动
    hostname: broker1
    container_name: broker1
    ports:
      - 9091:9091
      - 9191:9191
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_LISTENERS: INSIDE://:9091,OUTSIDE://:9191
      SKAFKA_ADVERTISED_LISTENERS: INSIDE://broker1:9091,OUTSIDE://localhost:9191
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
      KAFKA_ZOOKEEPER_CONNECT: zook1:2181,zook2:2181,zook3:2181
      ALLOW_PLAINTEXT_LISTENER : 'yes'
      JMX_PORT: 9999 #开放JMX监控端口，来监测集群数据
    volumes:
      - /Users/konsy/Development/volume/kafka/broker1/wurstmeister/kafka:/wurstmeister/kafka
      - /Users/konsy/Development/volume/kafka/broker1/kafka:/kafka
    external_links:
      - zook1
      - zook2
      - zook3
    networks:
      docker-net:
        ipv4_address: 172.20.10.14

  broker2:
    image: docker.io/wurstmeister/kafka
    #restart: always #自动重新启动
    hostname: broker2
    container_name: broker2
    ports:
      - 9092:9092
      - 9192:9192
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_LISTENERS: INSIDE://:9092,OUTSIDE://:9192
      KAFKA_ADVERTISED_LISTENERS: INSIDE://broker2:9092,OUTSIDE://localhost:9192
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
      KAFKA_ZOOKEEPER_CONNECT: zook1:2181,zook2:2181,zook3:2181
      ALLOW_PLAINTEXT_LISTENER : 'yes'
      JMX_PORT: 9999 #开放JMX监控端口，来监测集群数据
    volumes:
      - /Users/konsy/Development/volume/kafka/broker2/wurstmeister/kafka:/wurstmeister/kafka
      - /Users/konsy/Development/volume/kafka/broker2/kafka:/kafka
    external_links:
      - zook1
      - zook2
      - zook3
    networks:
      docker-net:
        ipv4_address: 172.20.10.15

  broker3:
    image: docker.io/wurstmeister/kafka
    #restart: always #自动重新启动
    hostname: broker3
    container_name: broker3
    ports:
      - 9093:9093
      - 9193:9193
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_LISTENERS: INSIDE://:9093,OUTSIDE://:9193
      KAFKA_ADVERTISED_LISTENERS: INSIDE://broker3:9093,OUTSIDE://localhost:9193
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INSIDE
      KAFKA_ZOOKEEPER_CONNECT: zook1:2181,zook2:2181,zook3:2181
      ALLOW_PLAINTEXT_LISTENER : 'yes'
      JMX_PORT: 9999 #开放JMX监控端口，来监测集群数据
    volumes:
      - /Users/konsy/Development/volume/kafka/broker3/wurstmeister/kafka:/wurstmeister/kafka
      - /Users/konsy/Development/volume/kafka/broker3/kafka:/kafka
    external_links:
      - zook1
      - zook2
      - zook3
    networks:
      docker-net:
        ipv4_address: 172.20.10.16
networks:
  docker-net:
      name: docker-net

执行脚本部署zookeeper至Docker:

docker-compose -f kafka-docker-compose.yml up -d

安装kafka-manager

新建文件kafka-manager-docker-compose.yml

version: '2'

services:
  kafka-manager:
    image: scjtqs/kafka-manager:latest
    restart: always
    hostname: kafka-manager
    container_name: kafka-manager
    ports:
      - 9000:9002
    external_links:  # 连接本compose文件以外的container
      - zook1
      - zook2
      - zook3
      - broker1
      - broker2
      - broker3
    environment:
      ZK_HOSTS: zook1:2181,zook2:2181,zook3:2181
      KAFKA_BROKERS: broker1:9091,broker2:9092,broker3:9093
      APPLICATION_SECRET: letmein
      KM_ARGS: -Djava.net.preferIPv4Stack=true
    networks:
      docker-net:
        ipv4_address: 172.20.10.10
networks:
  docker-net:
    external:
      name: docker-net

执行脚本部署kafka-manager至Docker:

docker-compose -f kafka-manager-docker-compose.yml up -d

配置Cluster

浏览器打开 172.20.10.10:9002

测试kafka

进入kafka容器的命令行：

docker exec -ti broker1 /bin/bash

进入kafka所在目录：

cd opt/kafka_2.13-2.8.1/

创建Replication为2，Partition为2的topic

bin/kafka-topics.sh --create --zookeeper zook1:2181 --replication-factor 2 --partitions 2 --topic partopic

查看topic的状态

在kafka容器中的 opt/kafka_2.12-1.1.0/ 目录下输入

bin/kafka-topics.sh --describe --zookeeper zook1:2181 --topic partopic

小李ing
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
利用docker和docker-compose部署单机kafka
01-20
本文将详细介绍如何使用Docker和Docker Compose部署单机版Apache Kafka，以及如何进行测试和验证其工作状态。 1. **Docker基础** Docker是一种流行的容器化技术，它允许我们将应用程序及其依赖环境打包成独立的可...
Docker 实战(四) 搭建 kafka集群
01-20
kafka使用广泛，在大数据处理与分析中作用很大，接下来是根据dockerHub上已有的kafka镜像进行搭建的 资料来源 使用 wurstmeister/zookeeper 和 wurstmeister/kafka 作为本次的镜像使用 简要版本搭建 dockerHub官方...
Docker搭建kafka集群
weixin_48412846的博客
01-18 4335
Docker搭建kafka集群
【Kafka】docker部署Kafka集群
Felier's Blog
06-23 3018
docker部署Kafka集群
kafka-集群搭建（在docker中搭建）
最新发布
小丁的博客
06-03 798
kafka-集群搭建（在docker中搭建）
docker搭建kafka集群并测试完整版
yyjysh0216的博客
11-07 2426
关于如何在windows上搭建docker kafka集群虚拟环境
docker-compose部署Kafka
编程侠
08-25 1828
在服务与服务的通信过程中，除了基本的http接口调用，还可以使用消息队列，比如RabbitMQ、RocketMQ及Kafka。今天介绍一下Kafa的搭建，依然还是使用docker-compose进行部署。说到Kafka，就不得不提到ZooKeeper，两者在很长一段时间都是配合使用，但随着kafka3.0的诞生，Kafka可以脱离ZooKeeper独自使用，那我们就从这两种方式进行分析。
docker-compose快速部署Kafka，以及常见问题解决
学习笔记
04-11 4593
文章目录一、概述二、服务不修改端口修改端口常用命令三、常见错误docker未启动报错:pull不下来启动容器报错java 端不识别容器名java 端获取topic超时 一、概述 二、服务 Kafka-manager使用docker-compose配置，遇到comsumers没有数据问题，生产版本不存在问题，故不深究。 不修改端口 # 包含了zk，采用默认端口2181，9092 $ curl -sSL https://raw.githubusercontent.com/bitnami/bitnami-dock
docker-kafka-cluster集群安装
02-22
本文将详细介绍如何使用Docker Compose来搭建一个Kafka集群，并解析Kafka的相关配置。 【描述】： 1、Kafka-Docker-Compose集群安装 Docker Compose是Docker官方提供的一种工具，用于定义和运行多容器的Docker...
bitnami版本的zookeeper和kafka的docker-compose配置
02-15
这个Docker Compose 文件定义了一个包含Zookeeper和三个Kafka节点...整体而言，这个Docker Compose 文件提供了一个简单且可扩展的方式来搭建和管理Zookeeper和Kafka的集群环境。 对了，这个集群配置是支持外部访问的。
Docker搭建Zookeeper&Kafka集群的实现
01-11
最近在学习Kafka，准备测试集群状态的时候感觉无论是开三台虚拟机或者在一台虚拟机开辟三个不同的端口号都太麻烦了（嗯。。主要是懒）。 环境准备 一台可以上网且有CentOS7虚拟机的电脑 为什么使用虚拟机？因为使用...
kafka集群部署文档(部署，运维，FAQ)
06-27
kafka集群部署文档及kafka详解，包括kafka常用命令，详细部署说明，如何运维以及一些FAQ，下载app注册免费获取：http://m3w.cn/jcsh
zookeeper、kafka集群部署
10-08
zookeeper配置、集群部署 kafka配置、集群部署 Window平台下
redis，zookeeper，kafka中间件集群安装部署手册
10-19
redis5 cluster zookeeper集群 kafka集群安装部署手册
Docker 快速搭建 Kafka 集群
NeedForSpeed
05-08 1310
你是否想要一个 Kafka 集群，但又不想经历繁琐的手动配置过程？别担心，有了 Docker 和 Docker Compose，我们可以轻松快捷地搭建一个 Kafka 集群，让你能专注于享受实时数据流处理的乐趣。
Rancher 部署 kafka 记录
小康子的博客
10-08 1693
部署 zookeeper 其中镜像地址是 wurstmeister/zookeeper 部署 kafka 其中镜像地址是 wurstmeister/kafka 环境变量如下： KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://172.22.190.172:19092 KAFKA_LISTENERS=PLAINTEXT://:9092 KAFKA_PORT=9092 KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 部署 kafka-m..
Rancher 部署 kafka 并支持外部访问
小康子的博客
10-18 1621
1. zookeeper 配置如截图，其他保持默认即可。 2. kafka 基础配置，这里要添加 NodePort 服务，对外暴露端口。 这里我的 Rancher 设置端口范围是 10000-32767，但是 Rancher 默认是从 30000 开始，这点要注意。 环境变量配置，其中 172.22.190.172 是集群节点 IP，根据实际情况修改，其他保持默认即可。 3. 使用 集群外部 172.22.190.172:19092 集群内部（同一命名空间） kafka:9092 集群内部（不同命名
云服务器使用docker-compose安装kafka
weixin_38884208的博客
09-12 2006
记录云服务器使用docker-compose安装kafka
docker-compose极速部署kafka3.2.0集群（含zookeeper集群）
成都_杨洋
02-16 4865
使用docker-compose极速部署kafka3.2.0，并开启JMX_PORT端口
docker-compose kafka集群
04-08
Docker-compose Kafka集群是一个通过Docker-compose工具来构建Kafka集群的方案。它可以让用户简单、快速地搭建一个分布式的消息队列Kafka集群，方便用户在分布式场景下进行消息的传输和处理。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值