docker-compose安装kafka集群并解决docker内kafka外界无法访问问题

最新推荐文章于 2024-04-11 10:10:12 发布
最新推荐文章于 2024-04-11 10:10:12 发布
阅读量6.8k 收藏 30
点赞数 13
分类专栏： 后端 中间件 文章标签： java kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39526294/article/details/124293954
版权

本文更好的观看体验在博主的个人博客上：点我访问

利用Docker安装

之前我说过，我希望能够快速开始实践，所以选择了利用docker来安装组件，docker-compose来解决通信问题，这次也一样，先用docker安装一个kafka集群来上手玩玩，之后有时间会再从头到尾搭建一遍集群的。

创建一个docker网络

通过docker network create zookeeper_network命令创建一个名为zookeeper_network的Docker网络
这时候你利用docker network ls可以看到创建出来了

搭建zookeeper集群

为了解耦，我们把zookeeper集群和kafka集群成两个docker-compose.yml文件

version: '3.8'

networks:
  default:
    external:
      name: zookeeper_network

services:
  zoo1:
    image: zookeeper:3.7.0
    container_name: zoo1
    hostname: zoo1
    ports:
      - 2181:2181
    volumes:
      - "/root/kafka_learn/zookeeper/zoo1/data:/data"
      - "/root/kafka_learn/zookeeper/zoo1/datalog:/datalog"
    environment:
      ZOO_MY_ID: 1
      ZOO_SERVERS: server.1=0.0.0.0:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=zoo3:2888:3888;2181

  zoo2:
    image: zookeeper:3.7.0
    container_name: zoo2
    hostname: zoo2
    ports:
      - 2182:2181
    volumes:
      - "/root/kafka_learn/zookeeper/zoo2/data:/data"
      - "/root/kafka_learn/zookeeper/zoo2/datalog:/datalog"
    environment:
      ZOO_MY_ID: 2
      ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=0.0.0.0:2888:3888;2181 server.3=zoo3:2888:3888;2181

  zoo3:
    image: zookeeper:3.7.0
    container_name: zoo3
    hostname: zoo3
    ports:
      - 2183:2181
    volumes:
      - "/root/kafka_learn/zookeeper/zoo3/data:/data"
      - "/root/kafka_learn/zookeeper/zoo3/datalog:/datalog"
    environment:
      ZOO_MY_ID: 3
      ZOO_SERVERS: server.1=zoo1:2888:3888;2181 server.2=zoo2:2888:3888;2181 server.3=0.0.0.0:2888:3888;2181

然后利用docker-compose up -d启动zookeeper集群

搭建kafka集群

version: '3.8'

networks:
  default:
    external:
      name: zookeeper_network

services:
  kafka1:
    image: wurstmeister/kafka:2.12-2.4.1
    restart: unless-stopped
    container_name: kafka1
    hostname: kafka1
    ports:
      - "9092:9092"
    external_links:
      - zoo1
      - zoo2
      - zoo3
    environment:
      KAFKA_BROKER_ID: 1
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.0.225:9092    ## 宿主机IP
      KAFKA_ADVERTISED_HOST_NAME: kafka1
      KAFKA_ADVERTISED_PORT: 9092
      KAFKA_ZOOKEEPER_CONNECT: "zoo1:2181,zoo2:2181,zoo3:2181"
    volumes:
      - "/root/kafka_learn/kafka/kafka1/data/:/kafka"


  kafka2:
    image: wurstmeister/kafka:2.12-2.4.1
    restart: unless-stopped
    container_name: kafka2
    hostname: kafka2
    ports:
      - "9093:9092"
    external_links:
      - zoo1
      - zoo2
      - zoo3
    environment:
      KAFKA_BROKER_ID: 2
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.0.225:9093    ## 宿主机IP
      KAFKA_ADVERTISED_HOST_NAME: kafka2
      KAFKA_ADVERTISED_PORT: 9093
      KAFKA_ZOOKEEPER_CONNECT: "zoo1:2181,zoo2:2181,zoo3:2181"
    volumes:
      - "/root/kafka_learn/kafka/kafka2/data/:/kafka"

  kafka3:
    image: wurstmeister/kafka:2.12-2.4.1
    restart: unless-stopped
    container_name: kafka3
    hostname: kafka3
    ports:
      - "9094:9092"
    external_links:
      - zoo1
      - zoo2
      - zoo3
    environment:
      KAFKA_BROKER_ID: 3
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.0.225:9094   ## 宿主机IP
      KAFKA_ADVERTISED_HOST_NAME: kafka3
      KAFKA_ADVERTISED_PORT: 9094
      KAFKA_ZOOKEEPER_CONNECT: "zoo1:2181,zoo2:2181,zoo3:2181"
    volumes:
      - "/root/kafka_learn/kafka/kafka3/data/:/kafka"

  kafka-manager: # Kafka 图形管理界面
    image: sheepkiller/kafka-manager:latest
    restart: unless-stopped
    container_name: kafka-manager
    hostname: kafka-manager
    ports:
      - "9000:9000"
    links:            # 连接本compose文件创建的container
      - kafka1
      - kafka2
      - kafka3
    external_links:   # 连接外部compose文件创建的container
      - zoo1
      - zoo2
      - zoo3
    environment:
      ZK_HOSTS: zoo1:2181,zoo2:2181,zoo3:2181
      KAFKA_BROKERS: kafka1:9092,kafka2:9093,kafka3:9094

然后利用docker-compose up -d启动kafka集群

测试一下

  1. 首先我们用docker ps看看启动起来没有

    看样子是没问题了
  2. 利用服务器ip:9000的形式访问一下我们的kafka manager界面，配置一下我们的集群
  3. 创建一个topic来测试一下，创建topic名为test，设置partition为3，replica数为3[【这里注意，你的同一个partition的Replica数量不能多于broker数量，因为多了也是在同一个broker上放两个副本，挂了也是都没了没意义啊】]{.red}

    可以看到不同partition的leader是均匀分布在broker上的，并且每个partition的副本在每个broker上都有
  4. 启动生产者和消费者，这里我用kafka1来当生产者，kafka2来当消费者
docker exec -it kafka1 /bin/bash
kafka-console-producer.sh --broker-list kafka1:9092,kafka2:9092,kafka3:9092 --topic test
>msg1
>msg2

docker exec -it kafka2 /bin/bash
kafka-console-consumer.sh --bootstrap-server kafka1:9092,kafka2:9092,kafka3:9092 --topic test --from-beginning

msg1
msg2

你自己演示下，生产者那边生产了一消息后，消费者这边就出现一条新消息

2022.04.20更新修正

上面搭建的kafka集群进入容器里面进行生产者和消费者测试都是没有问题的，但是在我利用kafka tools连接和利用java连接的时候发现无论如何都连接不上，所以考虑到是我外界应用无法连接docker内的应用，开始debug。
我用的是华为云的服务器，公网ip是123.xxxxxx内网ip是192.xxxxxx，上面我的配置是KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.0.225:9093这里用了内网ip，那么我们现在改成公网ip试一试，发现出现了新的问题Broker may not be available…

行吧，抱着不解决就不睡觉的心思，耐心去看了解决方案和文档，发现了答案——

docker与直接部署的区别

直接部署的时候我们kafka的参数设置是这样的形式:

broker.id=1
 
# 监听端口指定为 9093
listeners=PLAINTEXT://:9093
# 对外部暴露端口     本机IP:端口
advertised.listeners=PLAINTEXT://192.168.206.155:9093
 
num.network.threads=3
 
num.io.threads=8
 
socket.send.buffer.bytes=102400
 
socket.receive.buffer.bytes=102400
 
socket.request.max.bytes=104857600
 
log.dirs=/tmp/kafka-logs-1

而我们docker-compose.yml文件中配置项是这样的形式：

environment:
  KAFKA_BROKER_ID: 2
  KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
  KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.0225:9093    ## 宿主机IP
  KAFKA_ADVERTISED_HOST_NAME: kafka2
  KAFKA_ADVERTISED_PORT: 9093
  KAFKA_ZOOKEEPER_CONNECT: "zoo1:2181,zoo2:2181,zoo3:2181"

所以其实就是在原来kafka配置上全部大写，.变_，然后加了个KAFKA前缀

listeners与advertised.listeners的区别

可以看到我们在配置的时候设置了两个listener，那么他们分别是干嘛的呢？

advertised.host.name: DEPRECATED: only used when advertised.listeners or listeners are not set. Use advertised.listeners instead. Hostname to publish to ZooKeeper for clients to use. In IaaS environments, this may need to be different from the interface to which the broker binds. If this is not set, it will use the value for host.name if configured. Otherwise it will use the value returned from java.net.InetAddress.getCanonicalHostName().
advertised.listeners: Listeners to publish to ZooKeeper for clients to use, if different than the listeners config property. In IaaS environments, this may need to be different from the interface to which the broker binds. If this is not set, the value for listeners will be used. Unlike listeners it is not valid to advertise the 0.0.0.0 meta-address.

解释以下就是说如果没有设置任何的listener参数，那么就会利用hostname和port来上报使用，如果设置了listener参数就利用listener参数中的值来使用，而listeners和advertised.listeners是为了区分内网和外网的，如果只有内网就可以只是用listeners，如果涉及了外网，比如要在云服务器上部署使用就需要用到advertised.listeners参数了。
那么我们现在内网设置的内容是KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092，想要外网访问就可以设置为KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://<服务器ip>:<暴露端口>。advertised.listeners， 用于开发给用户，如果没有设定，直接使用listeners,而我们的listeners是监控的0.0.0.0这外界怎么可能访问的通嘛！

java程序与advertised.listeners的关系

这个问题我们首先需要知道zookeeper在kafka中的用处，我简单的提一个现在和我们现在密切相关的用处——Broker注册
Broker是分布式部署并且相互之间相互独立，但是需要有一个注册系统能够将整个集群中的Broker管理起来，此时就使用到了Zookeeper。在Zookeeper上会有一个专门用来进行Broker服务器列表记录的节点：/brokers/ids
我们来验证一下，首先利用docker exec -it zoo1 /bin/sh进入到zoo1节点中，然后zkCli.sh一下，利用ls /brokers/ids命令来查看我们yml文件中创建的三个broker节点
{height=“100px”}
然后我们看看每个节点里面都存了什么数据get /brokers/ids/1

{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://123.xxxxxxx:9092"],"jmx_port":-1,"host":"123.xxxxxxxx","timestamp":"1650424784738","port":9092,"version":4}

[Kafka 客户端在连接 Broker 的时候，Broker 将客户端发来的请求附加信息与 Broker 启动时上报给 Zookeeper 的 listeners参数信息、host（来自listeners的中间域名或主机名部分）、port (来自listeners的端口部分) 进行了验证，认证通过建立连接执行请求，反之建立连接失败]{.red}
【就是说如果你在advertised.listeners中配置了什么内容在zookeeper节点中就是endpoints中的内容，然后连接的时候就严格按照endpoints中的内容来进行匹配，不同就不让你连】
这样就很好的解释了为什么有的博客里面说要用advertised.listeners=PLAINTEXT://kafka1:9092来配置在java程序中就需要配置为kafka1:9092了！
通俗一点来讲：

  • 如果你的配置文件中是advertised.listeners=PLAINTEXT://123.xxxxxx:9092，那么你java配置中就需要用props.put("bootstrap.servers", "123.xxxxx:9092");
  • 如果你的配置文件中是advertised.listeners=PLAINTEXT://kafka1:9092，那么你java配置中就需要用props.put("bootstrap.servers", "kafka1:9092");但是需要多一步，因为你这里写的是kafka1，你的java程序并不知道要去哪里找这个ip来发送请求，所以你的这个java程序要在哪运行，就要修改那个机器的hosts文件，加上ip和主机名的映射才行！123.xxxxxx kafka1

结语

其实我利用公网ip和利用主机名来访问的两种形式都试过了，都是可以成功的，至于上面说的利用公网ip会导致出现Broker may not be available的问题，我姑且把他归罪于网络动荡问题，因为我大半夜的用公网ip的形式有这个问题，但是白天想不明白又用公网ip测试了一遍又成了…

总结

  1. 如果需要外网访问kafka，或者部署在云服务器上要使用，一定要配置advertised.listeners参数，并且一定要用公网ip！
  2. 不论是采用公网ip形式还是主机名形式，java中的连接字符串一定要和advertised.listeners中PLAINTEXT://后面的内容完全相同才行！
theonly_df
关注
  • 13
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
docker-compose 安装zookeeper kafka
01-21
docker-compose 安装zookeeper kafka
docker-compose kafka安装及外部访问不到kafka问题
u013012063的博客
09-16 1651
文章目录一、docker-compose.yml二、kafkamanager/kafka-manager连接zookeeper总结 一、docker-compose.yml version: '3' services: zookeeper: image: bitnami/zookeeper container_name: zoo restart: always ports: - 8181:2181 environment: # ZOO_MY
docker-compose部署kafka服务时如何同时允许内外网访问？
斌斌(Java)
03-08 2539
最近在学习kafka相关知识，需要搭建自己的kafka环境。综合考虑后决定使用docker-compose来管理维护这个环境。怎么让docker-compose管理的kafka服务同时允许内外网访问呢？
Kafka 实战 - Docker-compose部署Kafka集群
最新发布
qq_33240556的博客
04-11 336
使用 Docker Compose 部署 Apache Kafka 集群可以简化多容器应用程序的定义和管理。确保您的 Linux 系统上已经安装了 Docker 以及 Docker Compose。通过以上步骤，您已经在 Docker Compose 环境中成功部署了 Kafka 集群，并进行了初步的验证。Docker Compose 使得管理和扩展集群变得更为便捷，只需修改。的文件，用于定义服务、网络、卷等配置。然后，可以使用 Kafka 工具（如。文件即可调整集群配置，使用。等命令进行相应的操作。
docker-compose快速部署Kafka，以及常见问题解决
学习笔记
04-11 4521
文章目录一、概述二、服务不修改端口修改端口常用命令三、常见错误docker未启动报错:pull不下来启动容器报错java 端不识别容器名java 端获取topic超时 一、概述 二、服务 Kafka-manager使用docker-compose配置，遇到comsumers没有数据问题，生产版本不存在问题，故不深究。 不修改端口 # 包含了zk，采用默认端口2181，9092 $ curl -sSL https://raw.githubusercontent.com/bitnami/bitnami-dock
docker-compose安装kafka
01-21
docker-compose安装kafka
通过 docker-compose 快速部署 Kafka 保姆级教程
a...Z
06-12 4129
Kafka是由Apache基金会开发的分布式流处理平台，采用发布-订阅模式，支持高吞吐量、低延迟的数据传输。主要用于处理实时数据管道、数据存储和数据分析等大数据应用场景。Kafka采用高效的数据压缩算法，可以在集群中存储大量的数据，并通过分区机制来实现数据的高可靠性和可扩展性。数据管道：在数据采集和分发过程中构建可扩展的流式数据管道，用于实时数据处理和分析。例如，数据收集、日志聚合、网络追踪、用户活动跟踪等。数据存储。
docker-compose部署kafka集群
修理男爵的博客
07-31 7198
本文简单介绍下如何通过docker-compose部署kafka集群。 前提准备 需要提前安装好 docker 和 docker-compose 下载 kafka 镜像 # 查找 kafka 镜像 docker search kafka # 下载 kafka 镜像中星星最多的那个镜像 docker pull wurstmeister/kafka wurstmeister/kafka 镜像的 github 地址：https://hub.docker.com/r/wurstmeister/kafk
docker-compose 搭建 kafka 集群
杨宇
07-20 2165
使用docker-compose部署kafak集群，进行数据操作
kafka的简单介绍以及docker-compose部署单主机Kafka集群
小灰狼与大白兔的博客
01-27 7741
Kafka简单介绍 Kafka是由Apache软件基金会开发的一个分布式、分区的、多副本的、多订阅者的开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过H
关于在云服务器部署docker后,部署kafka,外网无法访问解决方式
weixin_40334693的博客
07-18 4858
关于在云服务器部署docker后,部署kafka,外网无法访问解决方式 这里主要测试的华为云服务器,但是我想所有的云服务器应该是大同小异的,其次是外网访问阶段,kafka部署后无法访问,以及在容器中更改了server.properties,重启容器还是不正确,通过查找发现服务器可以做以下修改之后就能成功使用kafka tools和代码访问kafka了 这里使用的kafka和zookeeper do...
利用docker和docker-compose部署单机kafka
01-20
其中docker-compose不是必须的,单单使用docker也是可以的,这里主要介绍docker和docker-compose两种方式 docker部署 docker部署kafka非常简单，只需要两条命令即可完成kafka服务器的部署。 docker run -d --name ...
bitnami版本的zookeeper和kafka的docker-compose配置
02-15
这个Docker Compose 文件定义了一个包含Zookeeper和三个Kafka节点的服务集群。通过指定镜像、端口映射、环境变量和依赖关系等配置，实现了Zookeeper和Kafka的快速部署和集成。同时，在定义了一个名为"mynetwork"的...
docker-kafka-cluster集群安装
02-22
1、kafka-docker-compose集群安装 2、kafka配置详解
docker-compose部署zk+kafka+storm集群的实现
01-09
集群部署总览 172.22.12.20 172.22.12.21 172.22.12.22 172.22.12.23 172.22.12.24 zoo1:2181 zoo2:2182 zoo3:2183 zkui:9090 (admin/manager) kafka1:9092 kafka2:9092 kafka3:9092 kafdrop:9000 ...
生产环境Docker部署ELK跨区访问kafka不通问题的解决
weixin_30376323的博客
06-12 355
由于分布式系统的日志集中采集的需求非常强烈，我们组通过调研和实践搭建了一套基于Docker的日志收集系统Amethyst。 我们首先在测试环境搭建了一套基于Docker swarm集群的ELK分布式环境。 测试云 docker swarm 配置： [elastic@host-10-191-51-44 ~]$ docker node ls ID ...
wsl 中 docker-compose 搭建 kafka 集群出现的外部访问错误
2201_75761617的博客
07-16 279
在上面的配置中，KAFKA_ADVERTISED_LISTENERS 的 EXTERNAL 配置了 localhost:19092，这是因为我的客户端程序运行在 wsl 中，而 19092 端口已经映射到了容器的 9092 端口上所以可以正确访问，如果 kafka 集群和客户端程序运行在两个不同的服务器上，这里应该配置 kfaka 集群所在的主机 ip，只需要记住这一串地址的 ip+port 部分是原封不动的传给客户端的，想想客户端程序所在的机器能不能解析它吧。
通过 docker-compose 部署 Kafka
ststcheung的博客
09-28 1870
在 Kafka 中，由于消息的生产和消费速度可能不一致，导致消息会积压在 Kafka 的分区中，如果这些积压的消息处理不及时，会导致 Kafka 系统的性能下降和可用性降低等问题。可以通过 Kafka 的 offset 操作，重置消费 offset，跳过已经处理过的消息，减少数据积压的问题。：在消费 Kafka 消息时，可以额外执行一些消息清洗处理操作，将无用的数据过滤出去，或者将数据进行清理和格式化处理，减少中间处理环节，提高数据消费的效率和可用性。消费组在 Kafka 消息队列中起到了至关重要的作用。
docker-compose快速搭建kafka集群
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
08-24 5319
docker-compose快速搭建Zookeeper集群。博客目录索引(持续更新)
docker-compose安装kafka kraft
01-14
以下是使用docker-compose安装kafka kraft的步骤： 1. 创建一个名为`docker-compose.yml`的文件，并在其中定义kafka和zookeeper的服务配置。 ```yaml version: '3' services: zookeeper: image: confluentinc/cp-zookeeper:6.2.0 container_name: zookeeper ports: - "2181:2181" environment: - ZOOKEEPER_CLIENT_PORT=2181 - ZOOKEEPER_TICK_TIME=2000 kafka: image: confluentinc/cp-kafka:6.2.0 container_name: kafka depends_on: - zookeeper ports: - "9092:9092" environment: - KAFKA_BROKER_ID=1 - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 - KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=PLAINTEXT:PLAINTEXT,PLAINTEXT_HOST:PLAINTEXT - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092,PLAINTEXT_HOST://localhost:9092 - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 - KAFKA_AUTO_CREATE_TOPICS_ENABLE=false ``` 2. 打开终端，进入包含`docker-compose.yml`文件的目录，并运行以下命令启动kafka和zookeeper服务。 ```shell docker-compose up -d ``` 3. 等待一段时间，直到所有容器启动并运行。可以使用以下命令检查容器的状态。 ```shell docker-compose ps ``` 4. 现在，你的kafka和zookeeper服务已经在Docker容器中成功安装和运行了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值