docker部署kafka3+zookeeper+eagle

已于 2024-06-19 15:18:14 修改
阅读量1.1k 收藏 1
点赞数 2
文章标签： docker zookeeper 容器 kafka 分布式
于 2023-07-03 14:34:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39272466/article/details/131512504
版权

1. 检测docker网卡

先看下网卡有哪些没有则创建
网卡的作用docker compose多个服务可以使用服务名

docker network ls

在这里插入图片描述
我这里是有zk-net网卡你没有就使用命令创建

docker network create -d bridge zk-net

2. 搭建 zookeeper 集群

zookeeper.yaml

version: '3.1'

networks:
  zk-net:
    name: zk-net   # 网络名

services:
  zoo1:
    image: zookeeper:3.8.0
    container_name: zoo1   # 容器名称
    restart: always       # 开机自启
    hostname: zoo1        # 主机名
    ports:
      - 2181:2181         # 端口号
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181
    networks:
      - zk-net

  zoo2:
    image: zookeeper:3.8.0
    container_name: zoo2
    restart: always
    hostname: zoo2
    ports:
      - 2182:2181
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181
    networks:
      - zk-net

  zoo3:
    image: zookeeper:3.8.0
    container_name: zoo3
    restart: always
    hostname: zoo3
    ports:
      - 2183:2181
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181
    networks:
      - zk-net

启动集群

docker compose -f zookeeper.yaml up -d

3. 搭建kafka集群+eagle

kafka.yaml

version: '3.1'

networks:
  zk-net:
    name: zk-net   # 网络名

services:
  kafka1:
    container_name: kafka1 # 容器名称
    image: confluentinc/cp-kafka:7.3.1
    ports:
      - "9092:9092"
      - "29092:29092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: 'zoo1:2181,zoo2:2181,zoo3:2181'
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka1:9092,PLAINTEXT_HOST://localhost:29092'
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_JMX_PORT: 19092
    networks:
      - zk-net
  kafka2:
    container_name: kafka2 # 容器名称
    image: confluentinc/cp-kafka:7.3.1
    ports:
      - "9093:9092"
      - "29093:29093"
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: 'zoo1:2181,zoo2:2181,zoo3:2181'
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka2:9092,PLAINTEXT_HOST://localhost:29093'
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_JMX_PORT: 19093
    networks:
      - zk-net
  kafka3:
    container_name: kafka3 # 容器名称
    image: confluentinc/cp-kafka:7.3.1
    ports:
      - "9094:9092"
      - "29094:29094"
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_ZOOKEEPER_CONNECT: 'zoo1:2181,zoo2:2181,zoo3:2181'
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka3:9092,PLAINTEXT_HOST://localhost:29094'
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_JMX_PORT: 19094
    depends_on:
      - zoo1
    networks:
      - zk-net
  eagle:
    container_name: eagle # 容器名称
    image: nickzurich/efak:3.0.1
    volumes: # 挂载目录
      - ./conf/system-config.properties:/opt/efak/conf/system-config.properties
    environment: # 配置参数
      EFAK_CLUSTER_ZK_LIST: zoo1:2181,zoo2:2181,zoo3:2181
    depends_on:
      - kafka1
      - kafka2
      - kafka3
    ports:
      - 8048:8048
    networks:
      - zk-net

注意这几个配置一定要配对

  • KAFKA_ZOOKEEPER_CONNECT：zookeeper连接的ip地址可以有多个
  • KAFKA_BROKER_ID：broker的全局唯一编号，不能重复
  • KAFKA_INTER_BROKER_LISTENER_NAME：用于配置broker之间通信使用的监听器名称
  • KAFKA_LISTENER_SECURITY_PROTOCOL_MAP：定义了每个监听器名称要使用的安全协议的键/值对
  • KAFKA_ADVERTISED_LISTENERS：监听的服务端口有多个
  • KAFKA_JMX_PORT JMX监听端口

eagle配置文件
system-config.properties

######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=zoo1:2181,zoo2:2181,zoo3:2181
 
######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25
 
######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048
 
######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
 
######################################
# enable kafka metrics
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.sql.fix.error=false
 
######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000
 
######################################
# alarm email configure
######################################
kafka.eagle.mail.enable=false
kafka.eagle.mail.sa=sa@163.com
kafka.eagle.mail.username=sa@163.com
kafka.eagle.mail.password=mq
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25
 
######################################
# alarm im configure
######################################
#kafka.eagle.im.dingding.enable=true
#kafka.eagle.im.dingding.url=https://oapi.dingtalk.com/robot/send?access_token=
 
#kafka.eagle.im.wechat.enable=true
#kafka.eagle.im.wechat.token=https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=xxx&corpsecret=xxx
#kafka.eagle.im.wechat.url=https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=
#kafka.eagle.im.wechat.touser=
#kafka.eagle.im.wechat.toparty=
#kafka.eagle.im.wechat.totag=
#kafka.eagle.im.wechat.agentid=
 
######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=admin
 
######################################
# kafka sasl authenticate
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.enable=false
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN
 
######################################
# kafka jdbc driver address
######################################
kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/kafka-eagle/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=root

一建搭建

compose.yaml

version: '3.1'

networks:
  zk-net:
    name: zk-net   # 网络名

services:
  zoo1:
    container_name: zoo1 # 容器名称
    image: confluentinc/cp-zookeeper:7.3.1
    ports:
      - "2181:2181"
    environment:
      ZOOKEEPER_CLIENT_PORT: 2181
      ZOOKEEPER_TICK_TIME: 2000
      KAFKA_JMX_PORT: 39999
    networks:
      - zk-net
  kafka1:
    container_name: kafka1 # 容器名称
    image: confluentinc/cp-kafka:7.3.1
    ports:
      - "9092:9092"
      - "29092:29092"
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_ZOOKEEPER_CONNECT: 'zoo1:2181'
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka1:9092,PLAINTEXT_HOST://localhost:29092'
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_JMX_PORT: 19092
    depends_on:
      - zoo1
    networks:
      - zk-net
  kafka2:
    container_name: kafka2 # 容器名称
    image: confluentinc/cp-kafka:7.3.1
    ports:
      - "9093:9092"
      - "29093:29093"
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_ZOOKEEPER_CONNECT: 'zoo1:2181'
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka2:9092,PLAINTEXT_HOST://localhost:29093'
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 3
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_JMX_PORT: 19093
    depends_on:
      - zoo1
    networks:
      - zk-net
  kafka3:
    container_name: kafka3 # 容器名称
    image: confluentinc/cp-kafka:7.3.1
    ports:
      - "9094:9092"
      - "29094:29094"
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_ZOOKEEPER_CONNECT: 'zoo1:2181'
      KAFKA_INTER_BROKER_LISTENER_NAME: PLAINTEXT
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT
      KAFKA_ADVERTISED_LISTENERS: 'PLAINTEXT://kafka3:9092,PLAINTEXT_HOST://localhost:29094'
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
      KAFKA_GROUP_INITIAL_REBALANCE_DELAY_MS: 0
      KAFKA_JMX_PORT: 19094
    depends_on:
      - zoo1
    networks:
      - zk-net
  eagle:
    container_name: eagle # 容器名称
    image: nickzurich/efak:3.0.1
    volumes: # 挂载目录
      - ./conf/system-config4.properties:/opt/efak/conf/system-config.properties
    environment: # 配置参数
      EFAK_CLUSTER_ZK_LIST: zoo1:2181
    depends_on:
      - kafka1
      - kafka2
      - kafka3
    ports:
      - 8048:8048
    networks:
      - zk-net

启动

docker compose -f compose.yaml up -d

查看日志

docker ps

在这里插入图片描述

检测zookeeper安装是否成功

1. 使用zookeeper的包

我们分别进入到zoo1、zoo2、zoo3中去查看当前它们各自的状态：

 docker exec -it zoo2 /bin/bash  # 进入容器
 
 cd bin  # 进入bin目录
 
 ./zkServer.sh status  # 查看当前服务状态
2. 使用confluentinc/cp-zookeeper包

可以去官网看文章：https://docs.confluent.io/platform/current/installation/docker/installation.html

3.查看cp-kafka对于apche kafka版本

https://docs.confluent.io/platform/7.3/release-notes/index.html

4. 测试eagle

先查看日志是否启动成

docker logs eagle

这个报错的话检测一下kafka的配置的服务名
KAFKA_ADVERTISED_LISTENERS
还有是否网卡配置一致
KAFKA_BROKER_ID是否一致等
在这里插入图片描述
发现问题修复问题之后停止删除重装

docker compose -f compose.yaml stop && docker compose -f compose.yaml rm -f && docker compose -f compose.yaml up -d

# 查看日志
docker logs eagle

无报错正常去登录测试
http://127.0.0.1:8048/
账号密码：admin 123456
在这里插入图片描述
Node节点都正常
在这里插入图片描述
zk也正常

其他功能你自行摸索

joker.zeng
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
docker安装zookeeper和kafka
yanfive
04-25 1549
docker妈耶，真香???????????????? 有zookeeper的可以跳过安装zookeeper 安装zookeeper kafka需要zookeeper管理，所以需要先安装zookeeper。 下载zookeeper镜像 $ docker pull zookeeper 启动镜像生成容器 docker run -d --restart=always --log-driver json-file --log-...
利用docker和docker-compose部署单机kafka
01-20
3. **Kafka与Zookeeper** Apache Kafka是一个分布式流处理平台，而Zookeeper是一个分布式协调服务。Kafka需要Zookeeper来存储集群元数据，因此在部署Kafka之前通常需要先部署Zookeeper。 4. **Docker部署Kafka** ...
利用docker安装kafka和kafka-eagle
只想买把蝴蝶knife
04-29 4535
利用docker安装kafka和kafka-eagle 想使用一下好用的kafka监控界面，于是看到了kafka-eagle这个工具，但是自己手动安装有点麻烦，就想着能不能在测试环境中使用docker,于是想到了使用docker-copmose进行安装，找到了一个github仓库 https://github.com/nick-zh/docker-kafka-eagle 这个仓库需要直接clone下来，然后放在文件夹中 mkdir /opt/kafka & cd git clone https://
Docker Kafka Eagle：一款强大的Kafka管理工具
gitblog_00099的博客
04-05 325
Docker Kafka Eagle：一款强大的Kafka管理工具 项目地址:https://gitcode.com/gui66497/docker_kafka_eagle 项目简介 Docker Kafka Eagle 是一个基于Docker容器化部署的Kafka实时监控与管理平台。它提供了友好的Web界面，使得管理和监控Apache Kafka集群变得更加直观和便捷。通过此项目，你可以轻松地查...
docker-compose部署 kafka 3.7 启用账号密码认证
最新发布
运维玄德公
06-05 1121
docker-compose部署 kafka 3.7 并启用账号密码认证
Docker安装kafka可视化管理工具 - Kafka Eagle
北辰
05-31 2414
Docker安装kafka可视化管理工具 - Kafka Eagle
第03节：部署环境 Kafka
qq_44901906的博客
09-13 941
部署环境 Kafka
docker安装kafka，springboot集成kafka
TryJavva的博客
05-07 473
环境：centos7容器：docker这里网上资料很多我就一笔带过安装docker参考我的这篇文章:censtos7下安装docker在kafka2.8版本开始尝试从服务架构中去掉zookeeper,到了3.0版本这个工作基本上完成。我这边还是采用zookeeper，感兴趣的小伙伴可以自行百度。
基于docker的kafka3.0集群配置(Kraft模式)
weixin_44320761的博客
09-16 3319
基于docker的kafka3.0集群配置(Kraft模式)
【Kafka】Docker安装kafka、搭建kafka集群
时光、疏离了记忆づ童话的博客
09-02 3589
docker安装kafka、搭建kafka集群进行测试
Docker部署Kafka以及Spring Kafka实现
01-11
这篇文章主要介绍了Docker部署Kafka以及Spring Kafka实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 从https://hub.docker.com/查找kafka 第三个活跃并...
Docker(Hadoop-3.3.1+HBase-2.4.16+Zookeeper-3.7.1+Hive-3.1.3)配置文件
03-21
Docker(Hadoop_3.3.1+HBase_2.4.16+Zookeeper_3.7.1+Hive_3.1.3 )配置文件 搭建集群环境
部署zookeeper+kafka
04-25
一、二进制安装 1.安装jdk，二进制安装以及yum安装 ...3.部署kafka 二、docker安装 1.搭建zookeeper集群 2.搭建kafka集群 3.测试Zookeeper中Kafka节点信息 4.测试Kafka中创建Topic，Zookeeper中的接受情况
springBoot+dubbo+zookeeper分布式微服务
10-26
本项目"springBoot+dubbo+zookeeper分布式微服务"充分利用了这三个组件的优势，构建了一个高效、可扩展且易于维护的服务网络。以下是对这些技术及其整合应用的详细说明： **SpringBoot** SpringBoot是Spring框架的...
docker-compose安装部署kafka
大新新大浩浩的博客
12-16 4528
docker-compose部署kafka
docker-compose部署zookeeper、kafka、eagle
pan5633的专栏
01-12 1286
centos7下，使用docker-compose部署cp-zookeeper:6.1.1、cp-kafka:6.1.1、efak:3.0.1
【Kafka】Kafka监控工具Kafka-eagle简介
后端研发工程师Marion的博客
05-17 2338
Kafka-eagle是一种基于Web的开源管理工具，可以用来监控、管理多个Kafka集群。下面是使用Docker部署Kafka-eagle的步骤：下载并安装Docker和Docker Compose。等待一段时间后，您可以通过浏览器打开，进入Kafka-eagle Web UI进行操作和管理。注意：如果您使用的是云服务器，则需要确保相关端口已经被正确放行。
docker-compose部署kafka3 —— 筑梦之路
筑梦之路
09-01 2135
【代码】docker-compose部署kafka3 —— 筑梦之路。
教师资格证信息技术主观题
2401_84048832的博客
04-07 444
我个人认为，如果你想靠着背面试题来获得心仪的offer，用癞蛤蟆想吃天鹅肉形容完全不过分。想必大家能感受到面试越来越难，想找到心仪的工作也是越来越难，高薪工作羡慕不来，却又对自己目前的薪资不太满意，工作几年甚至连一个应届生的薪资都比不上，终究是错付了，错付了自己没有去提升技术。这些面试题分享给大家的目的，其实是希望大家通过大厂面试题分析自己的技术栈，给自己梳理一个更加明确的学习方向，当你准备好去面试大厂，你心里有底，大概知道面试官会问多广，多深，避免面试的时候一问三不知。
docker 部署kafka
08-11
要在Docker中部署Kafka，您可以按照以下步骤进行操作： 1. 首先，确保您已经安装了Docker和Docker Compose。如果您尚未安装，请根据您的操作系统进行安装。 2. 创建一个名为`docker-compose.yml`的文件，并在其中添加以下内容： ```yaml version: '2' services: zookeeper: image: confluentinc/cp-zookeeper:latest environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 ports: - "2181:2181" networks: - kafka-network kafka: image: confluentinc/cp-kafka:latest depends_on: - zookeeper environment: KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafka:9092 KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1 ports: - "9092:9092" networks: - kafka-network networks: kafka-network: driver: bridge ``` 上述配置文件使用了Confluent提供的Kafka和Zookeeper镜像，并创建了一个Docker网络。 3. 在终端中，切换到包含`docker-compose.yml`文件的目录，并执行以下命令启动Kafka和Zookeeper容器： ``` docker-compose up -d ``` 该命令将在后台启动Kafka和Zookeeper容器。 4. 等待一段时间，直到容器完全启动。您可以使用以下命令检查容器的运行状态： ``` docker-compose ps ``` 确保`kafka`和`zookeeper`容器的状态为"Up"。 现在，Kafka已经成功部署在Docker中。您可以使用`localhost:9092`来访问Kafka。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值