kafka使用路由器做nat端口转发时 连接出错

最新推荐文章于 2023-11-03 09:04:59 发布
最新推荐文章于 2023-11-03 09:04:59 发布
阅读量2.4k 收藏 5
点赞数 3
文章标签： kafka 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sun_xuegang/article/details/114261559
版权

1.网络结构
描述： 如下图所示
左侧机器(11.100.5.131)在使用kafka命令行访问172.10.220.1:9092查看消息时报错, 报错信息为： Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
在这里插入图片描述
2.试错
(1)在kafka机器(36.7.242.42)上修改kafka配置 将listeners和advertised.listeners这两个配置参数注释 使之监听所有ip (不行)
(2)在kafka机器添加iptables规则 (不行)

3.解决方法
(1) 定义一个域名kafka.abc.com 修改配置文件

listeners=PLAINTEXT://36.7.242.42:9092
advertised.listeners=PLAINTEXT://kafka.abc.com:9092

(2) 修改hosts，在kafka机器的/etc/hosts里面追加一行

36.7.242.42 kafka.abc.com

在11.100.5.131的/etc/hosts追加一行，如果有DNS直接在DNS配置即可

172.10.220.1 kafka.abc.com

至此kafka就可以被两个网段访问了

参考文档： https://www.orchome.com/1867

sun_xuegang
关注
kafka接收外部接口的数据，并实现转发
2301_77899321的博客
07-14 2956
JAVA实现kafka接收外部接口的数据，并实现转发。
期末考试题库3
m0_74487105的博客
09-20 2853
311.小明在一家IT教育公司做运营工作，经常听到同学聊到MaxCompute核心概念，但又不知其意，下列哪些选项（ ABCDE ）能帮助小明更好的了解MaxCompute。 A:Project（项目）项目是MaxCompute的基本组织单元，类似于传统数据库的Database或Schema的概念，是进行多用户隔离和访问控制的主要边界 B:Partition（分区）分区Partition是指一张表下，根据分区字段（一个或多个字段的组合）对数据存储进行划分 C:View（视图）视图是在表之上建立的虚拟表，它的
Connection to node -1 could not be established. Broker may not be available.
qq_28461661的博客
10-21 6378
微服务项目配置继承kafka报错 Connection to node -1 could not be established. Broker may not be available. 可能是配置文件出现了问题。下面我贴出错误的和正确的配置 错误的配置 server: port: 6060 spring: application: name: ams-manager-system datasource: url: jdbc:mysql://127.0.0.1:3306/am
Connection to node -1 (/ip:9092) could not be established. Broker may not be available.
weixin_55008454的博客
11-15 1410
kafka某开打开Kafka。
kafka报错Connection to node -1 could not be established. Broker may not be available.
Harland的博客
06-28 1353
kafka报错内容： WARN [Consumer clientId=consumer-1, groupId=console-consumer-950] Connection to node -1 could not be established. Broker may not be available. 这是因为你的配置文件中的PLAINTEXT跟你请求的内容不同。举例来说，我在配置文件里配置的listeners=PLAINTEXT://10.10.10.10:9092，但是我想测试的时候请求的是./
生产环境端口转发：Kafka报错（服务器和客户端使用端口不同）
qq_18453581的博客
08-08 517
客户端bootstrap.server的配置要和服务器一致 ip在/etc/hosts配置映射 端口用socat做转发 socat 端口转发 socat是一个多功能的网络工具，使用socat进行端口转发。 socat安装 yum install -y socat 在本地监听12345端口，并将请求转发至192.168.172.131的22端口。 socat TCP4-LISTEN:12345,reuseaddr,fork TCP4:192.168.172.131:22 ...
03 当前机器的虚拟机[NAT网络]映射出 9200 到宿主机, 局域网的其他机器访问 宿主机+9200 访问不到 kafka 的服务
970655147的专栏
08-14 639
上下文是这样的 : 我开发机器上面安装了一个 虚拟机, 这个虚拟机网络基于 NAT 配置的我本地机器 局域网 ip 为 192.168.0.101, 虚拟机的 ip 为 192.168.220.133。
关于kafka报错“不能找到路由”Closing socket connection. Attempting reconnect except it is a SessionExpiredExcept
weixin_53191998的博客
10-20 799
最后发现是三台机器之间的防火墙没有完全关闭，最后关闭三台机器的防火墙，最终kafka正常，zk正常。以为是kafka版本的问题，然后就各种安装各种版本的kafka，最后还是报错 —“不能找到路由”当启动kafka时候，一直报错不能找到路由，
Kafka连接报错：kafka.errors.NoBrokersAvailable: NoBrokersAvailable
dragonfly91的博客
11-18 4736
最近做的项目，搭建的kafka服务器要通过外网进行生产和消费，但是发现不管是生产还是消费都会卡住，消息发不出去，但是topic可以正常查看，kafka服务也能初始化。最后发现需要修改server.properties中的一行，然后重启kafka和zookeeper服务即可。 修改如下 #listeners=PLAINTEXT://:9092 advertised.listeners=PLAINTEXT://x.x.x.x:9092 x.x.x.x代表服务器对外的IP ...
kafka单机实现外网访问
09-14
3. 配置端口映射（端口转发）：如果你的服务器位于 NAT 网络后面，你可能需要在路由器或者 NAT 设备上配置端口映射。将外部访问的端口映射到 Kafka 服务器的监听端口（默认为 9092）。 4. 测试连接：使用 Kafka ...
kafka-tunnel:通过ssh隧道访问AWS云中的kafkazookeeper以使用和产生消息
05-04
kafkatunnel.py 通过ssh隧道访问kafka / zookeeper，以使用和生成本地计算机上的消息 要求 您需要python3才能使用kafkatunnel.py python3 点3 注意：对于AWS模式：您需要使用Name = kafka / zookeeper标记ec2 zookeeper和kafka实例 参见 安装 $ git clone https://github.com/simple-machines/kafka-tunnel $ make 用法 kafkatool.py支持两种传递远程Zookeeper / kafka以及模式注册表IP的方式： 通过ec2资源标签自动检索（名称= zookeeper / kafka） $ kafkatunnel aws ec2-user@awsjumphost 手动传递您的远程Zookeeper / kafka
网络
GavinKai
03-09 1181
网络和磁盘IO是影响较大 的数据库又分为关系型数据库和非关系型数据库 数据库类型 数据库 介绍 关系型数据库 MYSQL 开源免费的数据库,中型的数据库.已经被Oracle收购了.MySQL6.x版本也开始收费 . Oracle 收费的大型数据库,Oracle公司的产品 . Oracle收购SUN公司,收购MYSQL . DB2 IBM公司的数据库产品,收费的 . 常应用在银行系统中. SQLServer MicroSoft 公司收费的中...
云计算习题
热门推荐
wql427的博客
06-23 3万+
单选题 在OSI模型中，HTTP协议工作在第（）层，交换机工作在第（）层。 A、 7/3 B、 7/2 (正确答案) C、 6/3 D、 6/2 Linux有三个查看文件的命令，若希望在查看文件内容过程中可以用光标上下移动来查看文件内容，应使用命令。 A、 cat B、 more C、 less (正确答案) D、 menu 以下哪一项最好地描述了何时完成监控项目过程组？ A、 整个项目中持续进行 (正确答案) B、 每个可交付成果完成时 C、 计划里程碑或项目间隙 D、 每个项目阶段
云计算
Wql的博客
06-23 2218
单选题 在OSI模型中，HTTP协议工作在第（）层，交换机工作在第（）层。 A、 7/3 B、 7/2 (正确答案) C、 6/3 D、 6/2 Linux有三个查看文件的命令，若希望在查看文件内容过程中可以用光标上下移动来查看文件内容，应使用命令。 A、 cat B、 more C、 less (正确答案) D、 menu 以下哪一项最好地描述了何时完成监控项目过程组？ A、 整个项目中持续进行 (正确答案) B、 每个可交付成果完成时 C、 计划里程碑或项目间隙 D、 每个项目阶段
logstash 消费kafka数据，转发到tcp端口，解决logstash时间差8小时
eyeofeagle的博客
09-06 776
【代码】logstash 消费kafka数据，转发到tcp端口。
kafka踩坑:kafka内网地址nat后，consumer无法消费问题，及解决方案
仙道Bob的专栏
11-20 6410
一、项目背景 二、问题描述 三、解决方案 四、实施 五、总结
记一次kafka外网无法访问（结合frp内外网穿透）
bigdata_player
05-10 2185
一.起因 有个需求，需要将阿里云的kafka数据发送到某个内网环境，但是内网环境又没有一个对外的公网IP，怎么办呢？后来采用了frp内网穿透技术，使得阿里云服务器可以访问kafka，但是却发现发送了数据，内网接收不到...... 二.解决方案 1）外网服务器配置 1）hosts配置映射 # 配置映射 # ip为阿里云服务器的内网ip # k...
kafka报错：could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClie
norma_chai的博客
06-20 2985
可查看config目录下的server.properties中的listeners=PLAINTEXT://xx.xx.xx.xx:9092,kafka命令中的ip和端口要跟这个配置文件中保持一致。命令中的kafka地址和端口是否填写正确。执行kafka命令报错。
Kafka消息发送失败的常见原因及解决方案
最新发布
qq_44912620的博客
11-03 3640
异步确认：生产者在发送消息后不等待Kafka服务器的确认响应，而是立刻发送下一条消息。Kafka生产者可以设置重试次数和重试间隔时间，当消息发送失败时，Kafka生产者将自动进行重试。- 同步确认：生产者在发送消息后，等待Kafka服务器的确认响应，直到收到确认响应之后才继续发送下一条消息。这种方式可以保证消息的可靠性，但会影响消息发送的效率。如果Kafka生产者将消息发送到一个不可用的分区副本，那么消息发送就会失败。Kafka默认有消息大小的限制，如果消息大小超过了限制，那么消息发送就会失败。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sun_xuegang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值