docker-compose 搭建kafka集群

最新推荐文章于 2024-04-11 10:10:12 发布
最新推荐文章于 2024-04-11 10:10:12 发布
阅读量149 收藏
点赞数
文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37377082/article/details/115369663
版权

创建目录

[root@meta kafka]# tree -L 2
.
├── kafka.yml
├── kfk1
│   ├── conf
│   ├── data
│   └── log
├── kfk2
│   ├── conf
│   ├── data
│   └── log
├── kfk3
│   ├── conf
│   ├── data
│   └── log
├── zk1
│   ├── conf
│   ├── data
│   ├── datalog
│   └── logs
├── zk2
│   ├── conf
│   ├── data
│   ├── datalog
│   └── logs
└── zk3
    ├── conf
    ├── data
    ├── datalog
    └── logs

27 directories, 1 file
[root@meta kafka]#

在zookeeper/conf中配置zoo.cfg配置文件

# 分别位于zk1/config/zoo.cfg , zk2/config/zoo.cfg , zk3/config/zoo.cfg
#心跳时间 单位毫秒
tickTime=2000

#leader和follower初始连接能容忍的最大心跳数
initLimit=10

#leader和follower请求应答能容忍的最大心跳数
syncLimit=5

#zookeeper数据目录
dataDir=/data

#zookeeper日志目录
dataLogDir=/datalog

#客户端连接端口
clientPort=2181

#需要保留的文件个数
autopurge.snapRetainCount=3

#定时清理时间间隔 单位小时 设为0表示不清理
autopure.purgeInterval=1

#开启四字命令
4lw.commands.whitelist=*

#zookeeper集群信息 服务器地址:LF通信端口:选举端口
server.1=zk1:2888:3888
server.2=zk2:2888:3888
server.3=zk3:2888:3888

编写kafka.yml文件

version: '3.5'
services:
    zk1:
        image: zookeeper
        restart: always
        container_name: zk1
        hostname: zk1
        ports:
        - 2181:2181
        environment:
            ZOO_MY_ID: 1
            ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888
        volumes:
        - ./zk1/conf/zoo.cfg:/conf/zoo.cfg
        - ./zk1/data:/data
        - ./zk1/datalog:/datalog
        - ./zk1/logs:/logs
        networks:
            kafka:
                aliases:
                - zk1

    zk2:
        image: zookeeper
        restart: always
        container_name: zk2
        hostname: zk2
        ports:
        - 2182:2181
        environment:
            ZOO_MY_ID: 2
            ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888
        volumes:
        - ./zk2/conf/zoo.cfg:/conf/zoo.cfg
        - ./zk2/data:/data
        - ./zk2/datalog:/datalog
        - ./zk2/logs:/logs
        networks:
            kafka:
                aliases:
                - zk2

    zk3:
        image: zookeeper
        restart: always
        container_name: zk3
        hostname: zk3
        ports:
        - 2183:2181
        environment:
            ZOO_MY_ID: 3
            ZOO_SERVERS: server.1=zk1:2888:3888 server.2=zk2:2888:3888 server.3=zk3:2888:3888
        volumes:
        - ./zk3/conf/zoo.cfg:/conf/zoo.cfg
        - ./zk3/data:/data
        - ./zk3/datalog:/datalog
        - ./zk3/logs:/logs
        networks:
            kafka:
                aliases:
                - zk3
    kafka1:
        image: wurstmeister/kafka
        restart: always
        container_name: kafka1
        hostname: kafka1
        privileged: true
        ports:
        - "9092:9092"
        environment:
            KAFKA_BROKER_ID: 1
            KAFKA_ADVERTISED_HOST_NAME: kafka1                   ##
            KAFKA_ADVERTISED_PORT: 9092
            KAFKA_LISTENERS: PLAINTEXT://kafka1:9092
            KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://121.5.246.227:9092     ##【注意】 修改:宿主机IP
            KAFKA_ZOOKEEPER_CONNECT: zk1:2181,zk2:2181,zk3:2181
            KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
            KAFKA_HEAP_OPTS: "-Xmx512M -Xms256M"
            JMX_PORT: 9988
        # 数据卷    
        volumes:
        - ./kfk1/config:/opt/kafka/config
        - ./kfk1/logs:/opt/kafka/logs
        - /etc/localtime:/etc/localtime
        #  依赖外部的zookeeper集群
        # external_links:
        # - zoo1
        # - zoo2
        # - zoo3
        # 依赖自身的zookeeper集群
        depends_on:
        - zk1
        - zk2
        - zk3
        networks:
            kafka:
                aliases:
                - kafka1
    kafka2:
        image: wurstmeister/kafka
        restart: always
        container_name: kafka2
        hostname: kafka2
        privileged: true
        ports:
        - "9093:9092"
        environment:
            KAFKA_BROKER_ID: 2
            KAFKA_ADVERTISED_HOST_NAME: kafka2                     ##
            KAFKA_ADVERTISED_PORT: 9092
            KAFKA_LISTENERS: PLAINTEXT://kafka2:9092
            KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://121.5.246.227:9093    ## 【注意】修改:宿主机IP
            KAFKA_ZOOKEEPER_CONNECT: zk1:2181,zk2:2181,zk3:2181
            KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
            KAFKA_HEAP_OPTS: "-Xmx512M -Xms256M"
            JMX_PORT: 9988
        # 数据卷    
        volumes:
        - ./kfk2/config:/opt/kafka/config
        - ./kfk2/logs:/opt/kafka/logs
        - /etc/localtime:/etc/localtime
        #  依赖外部的zookeeper集群
        # external_links:
        # - zoo1
        # - zoo2
        # - zoo3
        # 依赖自身的zookeeper集群
        depends_on:
        - zk1
        - zk2
        - zk3
        networks:
            kafka:
                aliases:
                - kafka2
    kafka3:
        image: wurstmeister/kafka
        restart: always
        container_name: kafka3
        hostname: kafka3
        privileged: true
        ports:
        - "9094:9092"
        environment:
            KAFKA_BROKER_ID: 3
            KAFKA_ADVERTISED_HOST_NAME: kafka3                   ## 
            KAFKA_ADVERTISED_PORT: 9092
            KAFKA_LISTENERS: PLAINTEXT://kafka3:9092
            KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://121.5.246.227:9094    ## 【注意】修改:宿主机IP
            KAFKA_ZOOKEEPER_CONNECT: zk1:2181,zk2:2181,zk3:2181
            KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
            KAFKA_HEAP_OPTS: "-Xmx512M -Xms256M"
            JMX_PORT: 9988
        # 数据卷    
        volumes:
        - ./kfk3/config:/opt/kafka/config
        - ./kfk3/logs:/opt/kafka/logs
        - /etc/localtime:/etc/localtime
        #  依赖外部的zookeeper集群
        # external_links:
        # - zoo1
        # - zoo2
        # - zoo3
        # 依赖自身的zookeeper集群
        depends_on:
        - zk1
        - zk2
        - zk3
        networks:
            kafka:
                aliases:
                - kafka3
    kafka-manager: # 内部的机器可以互相通信
        image: sheepkiller/kafka-manager:latest
        restart: always
        container_name: kafka-manager
        hostname: kafka-manager
        ports:
        - "9000:9000"
        # links:      # 连接本compose文件创建的container
        # - broker1
        # - broker2
        # - broker3
        depends_on:  # 连接本compose文件以外的container
        - zk1
        - zk2
        - zk3
        - kafka1
        - kafka2
        - kafka3
        environment:
            ZK_HOSTS: zk1:2181,zk2:2181,zk3:2181  # 因为可以互相通信，所以直接写hostname
            KAFKA_BROKERS: kafka1:9092, kafka2:9092, kafka3:9092 # 因为可以互相通信，所以直接写hostname
            APPLICATION_SECRET: letmein
            KAFKA_MANAGER_AUTH_ENABLED: "true" # 开启验证
            KAFKA_MANAGER_USERNAME: "admin" # 用户名
            KAFKA_MANAGER_PASSWORD: "admin" # 密码
            KM_ARGS: -Djava.net.preferIPv4Stack=true
        networks:
            kafka:
                aliases: 
                - manager
networks:
  kafka:
    driver: bridge

启动或关闭命令

# 启动
[root@meta kafka]# docker-compose -f kafka.yml  up -d
# 关闭
[root@meta kafka]# docker-compose -f kafka.yml  down

访问管理界面

http://IP:9000
合肥东仔
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
docker搭建zookeeper和kafka 集群
hfthxfhjy的博客
11-03 1286
docker-compose 部署kafka 集群，配置文件记录
docker-compose 安装kafka集群
a...Z
08-09 918
Kafka是一种高性能的分布式流处理平台，它的集群工作原理如下：假设你是一个快递员，Kafka集群就是一个快递中转站。在这个中转站中，有很多个小窗口（Broker），每个窗口有一个工作人员（Broker）负责接收和分发快递。发送快递（Producer）：你的工作是将快递从不同的地方收集起来，然后送到中转站的一个窗口。你可以一次送多个快递，每个快递都有一个编号（消息的键），内容（消息的值）和地址（主题）。你将这些快递递给窗口工作人员。
【Docker安装部署Zookeeper+Kafka集群详细教程、部署过程中遇到问题&解决方案】
2201_75875170的博客
11-01 606
首先对kafka进行配置，关于kafka消费者与生产者的配置还有很多，目前就配置了每次最多能够读取的消息数量。创建两个map数据结构来记录不同stock_name的trade_volume和每个stock_name的成交数量。我们首先创建一个名为stock_1的topic，而后对生产者进行配置。为了读取csv文件，使用的哦阿了apache 的csv库函数，将stock_name作为key，trade_value作为alue作为消息进行发送。4、 查看docker中运行的容器。
Kafka 实战 - Docker-compose部署Kafka集群
最新发布
qq_33240556的博客
04-11 465
使用 Docker Compose 部署 Apache Kafka 集群可以简化多容器应用程序的定义和管理。确保您的 Linux 系统上已经安装了 Docker 以及 Docker Compose。通过以上步骤，您已经在 Docker Compose 环境中成功部署了 Kafka 集群，并进行了初步的验证。Docker Compose 使得管理和扩展集群变得更为便捷，只需修改。的文件，用于定义服务、网络、卷等配置。然后，可以使用 Kafka 工具（如。文件即可调整集群配置，使用。等命令进行相应的操作。
docker-compose极速部署kafka3.2.0集群（含zookeeper集群）
成都_杨洋
02-16 4818
使用docker-compose极速部署kafka3.2.0，并开启JMX_PORT端口
基于Docker-compose构建Kafka集群
m0_43405302的博客
07-31 1750
首先，先向大家道个歉。由于前段时间的工作调整，导致我一直没有进行更新。现在工作逐渐走上正轨，现在决定继续更新自己学习的内容。希望对于学习或者从事大数据开发的你提供一些帮助。本次更新的内容为如何使用Docker-compose技术进行Kafka集群的构建。...
bitnami版本的zookeeper和kafka的docker-compose配置
02-15
这个Docker Compose 文件定义了一个包含Zookeeper和三个Kafka节点...整体而言，这个Docker Compose 文件提供了一个简单且可扩展的方式来搭建和管理Zookeeper和Kafka的集群环境。 对了，这个集群配置是支持外部访问的。
docker-kafka-cluster集群安装
02-22
1、kafka-docker-compose集群安装 2、kafka配置详解
docker-compose.yml
04-02
通过docker-compose一键搭建kafka集群及kafka管理工具,只需修改文档中标注的三个地方的ip地址即可
docker-compose部署zk+kafka+storm集群的实现
01-09
集群部署总览 172.22.12.20 172.22.12.21 172.22.12.22 172.22.12.23 172.22.12.24 zoo1:2181 zoo2:2182 zoo3:2183 zkui:9090 (admin/manager) kafka1:9092 kafka2:9092 kafka3:9092 kafdrop:9000 ...
Docker 实战(四) 搭建 kafka集群
01-20
kafka使用广泛，在大数据处理与分析中作用很大，接下来是根据dockerHub上已有的kafka镜像进行搭建的 资料来源 使用 wurstmeister/zookeeper 和 wurstmeister/kafka 作为本次的镜像使用 简要版本搭建 dockerHub官方...
Docker部署Kafka以及Spring Kafka实现
01-11
这篇文章主要介绍了Docker部署Kafka以及Spring Kafka实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 从https://hub.docker.com/查找kafka 第三个活跃并stars数量多 进去看看使用 我们使用docker-compose来构建镜像 查看使用文档中的docker-compose.yml 因为kafka要搭配zookeeper一起使用，所以文档中包含了zookeeper 我修改了一下版本号 以及变量参数 这两个参数好像是可以暴露给外网访问的（从其他博客找到的答案，不设置spring kaf
docker-compose部署kafka集群
修理男爵的博客
07-31 7357
本文简单介绍下如何通过docker-compose部署kafka集群。 前提准备 需要提前安装好 docker 和 docker-compose 下载 kafka 镜像 # 查找 kafka 镜像 docker search kafka # 下载 kafka 镜像中星星最多的那个镜像 docker pull wurstmeister/kafka wurstmeister/kafka 镜像的 github 地址：https://hub.docker.com/r/wurstmeister/kafk
docker compose 安装kafka集群
L___Ping的博客
04-28 848
Web 管理界面 另外也可以用exporter+prometheus+grafana的方式来监控 https://github.com/danielqsj/kafka_exporter。使用docker compsose部署kafka，方便快捷，启动方便。2. 编辑docker compose文件。# 匿名登录--必须开启。
33 | Kafka认证机制用哪家？
吉衣の秋先生的博客
06-13 891
Kafka认证机制
使用docker搭建zookeeper和kafka集群
yuntianxia111的博客
11-18 2032
一、镜像选择 Zookeeper和Kafka集群分别运行在不同的容器中 zookeeper官方镜像，版本latest kafka采用fogsyio/kafka镜像,版本latest kafuka manager采用scjtqs/kafka-manager镜像,版本latest 二、集群规划 hostname Ip addr port listener zook1 172.20.10.11 2184:2181 zook2 172.20.10.12 2185:2181 zook3
Docker快速搭建Zookeeper和kafka集群超详细
weixin_45778734的博客
04-22 2576
Kafka Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但...
【中间件】通过 docker-compose 快速部署 Kafka 保姆级教程
匠人精神，持之以恒！
05-21 1936
Kafka是由Apache基金会开发的分布式流处理平台，采用发布-订阅模式，支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法，可以在集群中存储大量的数据，并通过分区机制来实现数据的高可靠性和可扩展性。数据管道：在数据采集和分发过程中构建可扩展的流式数据管道，用于实时数据处理和分析。例如，数据收集、日志聚合、网络追踪、用户活动跟踪等。数据存储。
Docker搭建kafka集群
weixin_48412846的博客
01-18 4302
Docker搭建kafka集群
docker-compose kafka 用户认证
08-03
另外，如果需要在部署Kafka集群之前进行一些操作，可以参考引用[3]中提供的Docker-compose部署Kafka集群的示例。该示例包括了停止和删除容器、删除镜像、安装Docker和Docker-Compose等步骤。 总结起来，要在docker-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值