【运维笔记】kafka跨域通信代理

已于 2022-12-11 22:50:37 修改
阅读量3.6k 收藏 2
点赞数
分类专栏： 运维 文章标签： kafka 分布式 java nginx
于 2022-12-11 17:52:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013943146/article/details/128274711
版权

kafka跨域通信代理

在项目部署过程中遇到kafka需要走代理跨域通信的情景，搭建了一套环境模拟实验，以此记录。

场景描述

两套kafka集群KafkaS和KafkaC分别位于两个不互通的网络域，跨域互访需要经过nginx代理机，现需要确认nginx、kafka的配置。

模拟思路

利用docker在一台虚拟机上创建两个网络不互通的kafka集群，同时在宿主机上部署nginx。

模拟环境说明

基础环境

1、宿主机：Ubuntu 22.10
2、工具：docker、docker-compose

kafka版本

1、kafka镜像/zookeeper镜像：wurstmeister/zookeeper、wurstmeister/kafka
2、实验时版本：zookeeper

环境部署

基础软件安装

安装docker、docker-compose、nginx

sudo apt install docker.io docker-compose nginx -y

编写kafka的docker-compose.yml文件

1、网络配置

networks:
  kafka_server_net:
    ipam:
      config:
        - subnet: 172.33.0.0/16
  kafka_client_net:
    ipam:
      config:
        - subnet: 172.34.0.0/16

2、zookeeper配置

  zookeeperS:
    image: wurstmeister/zookeeper
    container_name: zookeeperS
    restart: always
    networks:
      kafka_server_net:
        ipv4_address: 172.33.0.10

zookeeperC的配置类似。

3、kafka配置

  kafkaS1:
    image: wurstmeister/kafka
    depends_on: [ zookeeperS ]
    container_name: kafkaS1
    environment:
      HOSTNAME: kafkaS1
      KAFKA_BROKER_ID: 0
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaS1:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperS:2181/kafka
    # extra_hosts可以把地址映射添加到hosts文件里，后面有用。其中，统一集群的kafka映射为容器的IP地址，不同集群的kafka映射为宿主机地址，72.130是宿主机IP。
    extra_hosts:
      kafkaS1: 172.33.0.11
      kafkaS2: 172.33.0.12
      kafkaS3: 172.33.0.13
      kafkaC1: 192.168.72.128
      kafkaC2: 192.168.72.128
      kafkaC3: 192.168.72.128
    networks:
      kafka_server_net:
        ipv4_address: 172.33.0.11

kafkaC的配置类似

4、完整的docker-compose文件

version: '3.8'

services:
# kafkaS && zookeeperS
  zookeeperS:
    image: wurstmeister/zookeeper
    container_name: zookeeperS
    restart: always
    networks:
      kafka_server_net:
        ipv4_address: 172.33.0.10

  kafkaS1:
    image: wurstmeister/kafka
    depends_on: [ zookeeperS ]
    container_name: kafkaS1
    environment:
      HOSTNAME: kafkaS1
      KAFKA_BROKER_ID: 10
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaS1:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperS:2181/kafka
    networks:
      kafka_server_net:
        ipv4_address: 172.33.0.11
    extra_hosts:
      kafkaS1: 172.33.0.11
      kafkaS2: 172.33.0.12
      kafkaS3: 172.33.0.13
      kafkaC1: 192.168.72.128
      kafkaC2: 192.168.72.128
      kafkaC3: 192.168.72.128

  kafkaS2:
    image: wurstmeister/kafka
    depends_on: [ zookeeperS ]
    container_name: kafkaS2
    environment:
      HOSTNAME: kafkaS2
      KAFKA_BROKER_ID: 11
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaS2:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperS:2181/kafka
    networks:
      kafka_server_net:
        ipv4_address: 172.33.0.12
    extra_hosts:
      kafkaS1: 172.33.0.11
      kafkaS2: 172.33.0.12
      kafkaS3: 172.33.0.13
      kafkaC1: 192.168.72.128
      kafkaC2: 192.168.72.128
      kafkaC3: 192.168.72.128

  kafkaS3:
    image: wurstmeister/kafka
    depends_on: [ zookeeperS ]
    container_name: kafkaS3
    environment:
      HOSTNAME: kafkaS3
      KAFKA_BROKER_ID: 12
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaS3:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperS:2181/kafka
    networks:
      kafka_server_net:
        ipv4_address: 172.33.0.13
    extra_hosts:
      kafkaS1: 172.33.0.11
      kafkaS2: 172.33.0.12
      kafkaS3: 172.33.0.13
      kafkaC1: 192.168.72.128
      kafkaC2: 192.168.72.128
      kafkaC3: 192.168.72.128

# kafkaC && zookeeperC

  zookeeperC:
    image: wurstmeister/zookeeper
    container_name: zookeeperC
    restart: always
    networks:
      kafka_client_net:
        ipv4_address: 172.34.0.10

  kafkaC1:
    image: wurstmeister/kafka
    depends_on: [ zookeeperC ]
    container_name: kafkaC1
    environment:
      HOSTNAME: kafkaC1
      KAFKA_BROKER_ID: 20
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaC1:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperC:2181/kafka
    networks:
      kafka_client_net:
        ipv4_address: 172.34.0.11
    extra_hosts:
      kafkaS1: 192.168.72.128
      kafkaS2: 192.168.72.128
      kafkaS3: 192.168.72.128
      kafkaC1: 172.34.0.11
      kafkaC2: 172.34.0.12
      kafkaC3: 172.34.0.13

  kafkaC2:
    image: wurstmeister/kafka
    depends_on: [ zookeeperC ]
    container_name: kafkaC2
    environment:
      HOSTNAME: kafkaC2
      KAFKA_BROKER_ID: 21
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaC2:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperC:2181/kafka
    networks:
      kafka_client_net:
        ipv4_address: 172.34.0.12
    extra_hosts:
      kafkaS1: 192.168.72.128
      kafkaS2: 192.168.72.128
      kafkaS3: 192.168.72.128
      kafkaC1: 172.34.0.11
      kafkaC2: 172.34.0.12
      kafkaC3: 172.34.0.13

  kafkaC3:
    image: wurstmeister/kafka
    depends_on: [ zookeeperC ]
    container_name: kafkaC3
    environment:
      HOSTNAME: kafkaC3
      KAFKA_BROKER_ID: 22
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://kafkaC3:9092
      KAFKA_LISTENERS: PLAINTEXT://0.0.0.0:9092
      KAFKA_ZOOKEEPER_CONNECT: zookeeperC:2181/kafka
    networks:
      kafka_client_net:
        ipv4_address: 172.34.0.13
    extra_hosts:
      kafkaS1: 192.168.72.128
      kafkaS2: 192.168.72.128
      kafkaS3: 192.168.72.128
      kafkaC1: 172.34.0.11
      kafkaC2: 172.34.0.12
      kafkaC3: 172.34.0.13

# networks
networks:
  kafka_server_net:
    ipam:
      config:
        - subnet: 172.33.0.0/16
  kafka_client_net:
    ipam:
      config:
        - subnet: 172.34.0.0/16

环境验证

docker-compose up -d启动所有容器后，开始验证环境是否符合要求。
1、网络连通性验证
本场景应当kafkaS和kafkaC集群间不能互访，内部三个节点可以互访；宿主机和两个集群可以互访。
1-1、kafka集群内部互访
先进入容器内：

docker -exec -it kafkaS1 bash

kafka容器没有telnet、ping等工具测试网络，但我们可以用nc：

nc -vz kafkaS2 9092
nc -vz zookeeperS 2181

测试结果1

以上测试应该会回显succeed

1-2、kafka集群间验证

nc -vz kafkaC1 9092

测试结果2

测试结果是refused，是否与我们预期不一样？别慌，这是因为kafkaC1被映射为宿主机的地址，因此是正常的，要测试kafka集群间连通性，应该直接用ip测试，这次结果就是超时了。

nc -vz 172.34.0.11 9092

测试结果3

1-3、代理（宿主机）与kafka的连通性验证
上一部分已经验证过，也可以在宿主机上Telnet端口，正常情况是通的。

2、kafka可用性验证
2-1、分别在两个kafka集群测试统一集群内kafka能否成功收发消息。

# 进入kafka测试脚本所在目录
cd /opt/kafka/bin/
# 创建主题
kafka-topics.sh --create --zookeeper zookeeperS:2181/kafka --replication-factor 1 --partitions 2 --topic testtopic
# 模拟生产消息
kafka-console-producer.sh --topic=testtopic --broker-list kafkaS1:9092,kafkaS2:9092,kafkaS3:9092
# 随便输入内容进行测试

# 进入另一个kafka容器，模拟消费
kafka-console-consumer.sh --bootstrap-server kafka01:9092,kafka02:9092,kafka03:9092 --from-beginning --topic testtopic

消费的窗口能看到生产的消息，则验证通过。测试结果4
至此，模拟环境搭建完成，下面记录如何实现跨域通信。

解决方案

Kafka通信机制

kafka通过二次交互建立会话：服务端在第一次交互时会返回一个地址供客户端建立会话，这个交互机制可以防止中间人攻击，但对走代理的场景来说，配置就比较麻烦了。
一个kafka服务端会提供给多个客户端访问（含不经代理的访问），配置为返回代理地址不太合适，

解决思路

kafka返回相同值给客户端，客户端却需要识别成各不相同、自己能连接的地址，这个问题很自然地就能想到用hosts解决。
docker-compose配置里已经给kafka节点都加上了extra_hosts，并根据连通性做好主机名和IP的映射。

代理配置

映射加上之后，只需要再把nginx代理配好就能成功互访了。
这里我用四层代理进行转发。
在nginx.conf文件里新建stream块，和http同级。
在这里插入图片描述
在nginx配置目录下新建kafkaproxy.conf，具体如下：

# 新建配置文件
sudo nano /etc/nginx/conf.d/stream/kafkaproxy.conf

配置内容：

upstream KAFKA_SERVER
{
server 172.33.0.11:9092;
server 172.33.0.12:9092;
server 172.33.0.13:9092;
}
server {
listen *:9092;
proxy_pass KAFKA_SERVER;
proxy_connect_timeout 2s;
proxy_timeout 1m;
}

# 配置完毕后重载配置
sudo nginx -s reload

验证是否满足要求

1、模拟发送消息
进入kafkaS任意节点，模拟发送消息

kafka-console-producer.sh --topic=testtopic --broker-list kafkaS1:9092,kafkaS2:9092,kafkaS3:9092

2、模拟接收消息

kafka-console-consumer.sh --bootstrap-server kafkaS1:9092,kafkaS2:9092,kafkaS3:9092 --from-beginning --topic testtopic

能相互通信
测试结果5
因为–from-beginning参数没去掉，所以有一些之前产生的消息。
但此时仍然是有问题的，通过代理访问kafka服务端的时候，有时会消费不到数据。这是负载均衡的问题，如果要避免，还是得配置多监听。

三水有余
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELFK+Kafka+Zookeeper企业级日志架构
作者的博客园已搬家到CSDN，访问博客园主页将默认跳转至CSDN
10-29 2054
文章目录ELFK+Kafka+Zookeeper企业级日志架构1.了解1）前言2）介绍3）采集插件2.应用场景与方案1.普通场景2.大型场景3.服务安装规划1）资金充足2）合理节省3.企业级ELFK日志架构搭建准备环境1）安装Docker服务2）安装JDK环境3）修复时区4）搭建要求1.数据采集层1）Nginx1> 配置2> 启动2）Filebeat1> 配置2> 启动2.数据处理层1）Zookeeper1> 配置2> 启动3> 检测集群状态4> 强制删除to
Linux运维入门Kafka安装（安装与配置）
03-08
Linux运维入门Kafka安装（安装与配置）
nginx反向代理kafka集群实现内外网隔离访问 —— 筑梦之路
筑梦之路
05-15 2333
使用Nginx代理Kafka集群，架构并没有较少对外暴露服务的实例数量。架构上主要能实现内外网隔离安全。例如外网Kafka客户端不用开通到内网Kafka集群的直连火墙。只需要将Nginx集群的地址暴露给外网客户端。在一台节点服务器上运行一个Nginx，然后配置三个不同的serverstream {#1server{#2server{#3server{在资源上我们只需要部署一台对外暴露的Nginx服务器IP和三个端口即可这样客户端就避免和直连，而是通过nginx进行了路由。
推荐开源项目：Nginx Kafka Module - 高效的HTTP到Kafka数据传输解决方案
gitblog_00047的博客
06-03 451
推荐开源项目：Nginx Kafka Module - 高效的HTTP到Kafka数据传输解决方案 项目地址:https://gitcode.com/brg-liuwei/ngx_kafka_module 项目介绍 Nginx Kafka Module是一个用于接收HTTP POST数据并将其发送至Apache Kafka的Nginx扩展模块。由brg-liuwei开发并维护，这个模块让HTTP服...
【八股】2024春招八股复习笔记3（测试、运维、安全、游戏、客户端）
小哈里的博客
03-27 2719
1、测试开发 2、运维开发 SRE 3、安全开发 4、运营开发/应用开发（全栈） 5、客户端：PC & 移动 & 游戏 我有一个问题，既然测试、运维、安全、运营、客户端都要会开发，同时还要会很多专业领域的知识，但是待遇和职业发展却都远远不如开发。那为什么不直接投业务开发呢（好吧可能是太卷了） 1、测试开发 1、网络 & 系统（含linux） 2、数据库，MySQL，JAVA 3、测试流程：单元测试、集成测试、系统测试 【八股】2024春招八股复习笔记3（测试、运维、安全、游戏、客户端）
【谷粒商城】全网最全笔记(1/4)
热门推荐
努力充实，远方可期
06-23 38万+
本文重点记录老师讲的话 和 一些配置流程，笔记中有的内容尽量少记录。 边看视频变更新，我尽快更新。
面试笔记系列六之redis+kafka+zookeeper基础知识点整理及常见面试题
u014755700的博客
02-28 1515
穿透：缓存不存在，数据库不存在，高并发，少量key击穿：缓存不存在，数据库存在，高并发，少量key雪崩：缓存不存在，数据库存在，高并发，大量key。
Lucene&ElasticSeach&Kafka
heywei_的博客
11-21 959
Lucene&ElasticSeach&Kafka Lucene&ElasticSeach 1 什么是全文检索 1.1 数据分类 生活中的数据总体分为两种：结构化数据和非结构化数据。 ​ 结构化数据：指具有固定格式或有限长度的数据，如数据库，元数据等 ​ 非结构化数据：指不定长或无固定格式的数据，如邮件，word 文档等磁盘上的文件 1.2 结构化数据搜索 常见的结构化数据也就是数据库中的数据 ​ 在数据库中搜索很容易实现，通常都是使用 sql语句进行查询，而且能很快的得到查询
linux 环境配置遇到问题笔记
qq_42196643的博客
11-08 448
linux 配置JDK,MYSQL
SpringBoot3 全栈指南教程——尚硅谷学习笔记 2023年
末影小黑xh的博客
09-15 4257
Java17Maven、IDEA1、Spring 使用作为内部日志，但底层日志实现是开放的。可对接其他日志框架。① spring5 及以后 commons-logging 被 spring 直接自己实现了。2、支持jullog4j2logback。SpringBoot 提供了默认的控制台输出配置，也可以配置输出为文件。3、logback是默认使用的。4、虽然日志框架很多，但是不用担心，使用 SpringBoot 的默认配置就能工作的很好。SpringBoot 怎么把日志默认配置好的。1、每个。
Linux最全腾讯技术运维面经_腾讯 应用运维安全 面经(2)，你有过迷茫吗
2401_83974607的博客
05-06 537
分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?5、LVS、Nginx、HAproxy有什么区别?9、讲述一下Tomcat8005、8009、8080三个端口的含义？7、Tomcat和Resin有什么区别，工作中你怎么选择?
5.kafka运维实战视频教程资料-详细课件笔记总结
05-25
运维工程师，开发工程师，想学习Kafka的朋友，最适合入门教程 你将会学到： 快速入门Kafka技术，包括：消息系统介绍、Kafka简介和安装、Kafka集群和常见的面试题总结 课程简介： kafka课程简介 1.消息队列系统...
Kafka全套学习笔记.zip
06-28
本套学习笔记将带你深入理解Kafka的核心概念、架构设计以及实战技巧。 一、Kafka概述 Kafka是一个高吞吐量的分布式发布订阅消息系统，它的主要特性包括持久化、分区、复制和并行处理。Kafka的设计目标是提供低延迟...
kafka开发运维实战分享.pptx
04-28
**Kafka 开发运维实战详解** Kafka 是一个高吞吐量、分布式的消息发布与订阅系统，常用于大数据处理和实时流数据平台。本篇内容将深入探讨 Kafka 的开发和运维实践，帮助读者理解其核心特性和在生产环境中的最佳...
kafka消息队列学习笔记
07-02
kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列学习笔记，kafka消息队列...
kafka架构+原理+源码
JavaCoder_juejue的博客
07-21 1675
1.kafka架构图 2.kafka producer
Kafka知识总结（消费者+重平衡）
最新发布
月伴飞鱼
07-25 980
意思就是前面两个当同组内有新的消费者加入或者旧的消费者退出的时候，会从新开始决定消费者消费方式，但是Sticky在同组中有新的消费者加入或者旧的消费者退出时，不会直接开始重构分配策略，而是保留现有消费者消费策略，将退出的消费者所消费的分区平均分配给现有消费者，新增消费者同理，同其他现存消费者的消费策略中分离。这个分配的过程就叫 Rebalance。Consumer Group 下所有实例订阅的主题的单个分区，只能分配给组内的某个 Consumer 实例消费，这个分区也可以被其他的 Group 消费。
Apollo使用（3）：分布式docker部署
游王子的博客
07-24 767
Apollo 1.7.0版本开始会默认上传Docker镜像到，可以按照如下步骤获取。
Kafka开发运维实战：调优与监控解析
"kafka开发运维实战分享.pptx" 本次分享的主题聚焦于Kafka的开发与运维实战，由讲师李剑在2021年4月28日进行讲解。主要内容涵盖Kafka的不同版本及其最佳实践、架构详解、组件介绍、性能调优以及具体的应用场景。 1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值