通过Nginx代理Kafka实现跨网络消费

最新推荐文章于 2025-03-31 17:32:00 发布

问题不太大

最新推荐文章于 2025-03-31 17:32:00 发布

阅读量5.1w

点赞数 4

分类专栏： java 大数据 Kafka 文章标签： kafka nginx 大数据

本文链接：https://blog.csdn.net/M283592338/article/details/111028386

版权

本文介绍了如何在服务器A和B上分别搭建Nginx和Kafka服务，通过Nginx代理使得Kafka能跨网络提供服务。主要步骤包括：配置服务器的主机名和hosts文件，确保Kafka只对服务器A开放9092端口，服务器A上安装Nginx并配置stream模块，最后通过Windows客户端测试生产者和消费者的连通性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 服务器环境

两台服务器同在一个网段(都开打开防火墙模拟跨网)分别为服务器A、服务器B

服务器A(172.**.**.219)：安装Nginx(1.8.0以上的Nginx才支持stream模块)服务，对所有网段打开9092端口
服务器B(172.**.**.220)：安装Kafka服务，对服务器A打开9092端口

2. 服务搭建

2.1 服务器B服务搭建

修改主机名
vim /etc/hostname
```
kafka
```

修改主机名映射
vim /etc/hosts

172.**.**.219 nginx
172.**.**.220 kafka

kafka安装

注：此配置只能使用主机名访问如需IP访问将listeners=PLAINTEXT://hostname:9092
改为
advertised.listeners=PLAINTEXT://x.x.x.x:9092

2.2 服务器A服务搭建

修改主机名
vim /etc/hostname
```
nginx
```

修改主机名映射
vim /etc/hosts

172.**.**.219 nginx
172.**.**.220 kafka

安装Nginx依赖包

yum install gcc gcc-c++ pcre-devel zlib-devel openssl-devel -y

将Nginx安装包上传至服务器并安装Nginx

tar zxvf nginx-1.14.0.tar.gz

cd nginx-1.14.0

./configure --prefix=/usr/local/nginx --with-stream

make && make install

配置nginx.conf

stream {
     
    server {
     
        listen 9092;
        proxy_pass kafka;
    }

    upstream kafka {
     
        server kafka:9092 weight=1;
    }
}

stream模块与https模块同级

启动nginx
```
/usr/local/nginx/sbin/nginx
```

3. 测试连通性

在本地Windows编写生产者消费者代码

生产者

package com.msk.demo01;

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;

import java.text.Deci