【kafka】kafka 报错 no brokers found when trying to rebalance、broker id 丢失

已于 2023-10-28 19:31:07 修改
阅读量1.5k 收藏
点赞数
分类专栏： 2025最新-大数据-kafka 文章标签： kafka brokers rebalance
于 2020-12-27 12:23:41 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/111661828
版权
2025最新-大数据-kafka 专栏收录该内容
416 篇文章 654 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了Kafka集群中遇到的broker id丢失和rebalance失败的问题。当发现ZK中broker id信息为空，且节点报错时，通过删除ZK的/brokers/ids元数据，重启ZK和Kafka来解决。同时，强调了dataDir配置的重要性，并详细解释了如何创建myid文件以恢复节点身份。文章还提供了多个与Kafka rebalance相关的参考资料。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

一个kafka集群，zk正常，每个broker的9092都能telnet通畅，然后jmx端口都是开启的，但是集群状态却是不正常的。

排查先到后台使用命令查询topic详情

bin/kafka-topic.sh --zookeeper xx:2181 --list

这样是能查询topic详情的，然后消费一下试试

bin/kafka
了解本专栏 订阅专栏 解锁全文
【Kafka】kafka消费报错 no brokers found in zk
九师兄
06-29 6998
1.背景 执行kafka控制台消费数据报错 > ./kafka-console-consumer.sh --zookeeper 1.zookeeper:2181 --topic test --from-beginning No brokers found in ZK. 是localhost 上没有运行 zookeeper，或者 2181端口是错误的。 ./kafka-topics.sh --zookeeper 1.zookeeper1:2181 --list 能不能列出所有的topic，如果能.
【kafka】kafka 控制台 消费报错 cant rebalance afer 4 retries
九师兄
04-21 898
一个环境kafka 消费数据的时候报错如下。
kafka集群报错找不到broker: Failed to find brokers to send ListGroups
最新发布
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
06-09 3323
现场测试验证，报错：报错：Failed to find brokers to send ListGroups……某次用户反馈，kafka消费这边消息失败，报错消费者被踢出消费组或broker状态异常无法连接，后实际验证端口确实不通。如上所示，缺失找不到broker node，查看发现多了一个意外节点，经确认为非正常配置。发现topic的授权用户和consumer.properties里配置的消费用户名不一致。broker 4 （172.18.1.198）------>下线该节点。如上图所示，没有组权限；
Kafka启动消费者时提示no brokers found when trying to rebalance.
食鱼酱的博客
07-02 2983
kafka在执行以下命令时提示： bin/kafka-console-consumer.sh --zookeeper localhost102:2181 --topic test WARN [console-consumer-87796_localhost002-1592779486563-9b43649b], no brokers found when trying to rebalance.(kafka.consumer.ZookeeperConsumerConnector) 产生原因是没启动kafk
nginx+lua写入kafka报buffered messages send to kafka err: not found broker
BLF2
03-13 794
[error] 9#0: *4029703 [lua] producer.lua:272: buffered messages send to kafka err: not found broker, retryable: true, topic: xxx, partition_id: 11, length: 2
Kafka创建消费者时报错，No brokers found in ZK.
m0_45819251的博客
04-04 2169
Kafka创建消费者时报错，No brokers found in ZK. 解决：粗心，未添加zookeeper的端口 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --bootstrap-server localhost:9092 --topic topic_demo --from-beginning ...
kafka启动报错--broker id
东城庞太师
03-11 1268
原因：broker id 不一致！ 解决：修改broker id 后需要删除 /var/local/kafka/data 目录下的meta.properties 文件。 重启kafka服务，即可正常访问！
kafka修改broker id后，启动kafka报错
jackfeng86的专栏
06-16 552
错误： [2016-10-13 13:49:56,746] FATAL Fatal error during KafkaServerStartable startup. Prepare to shutdown (kafka.server.KafkaServerStartable) kafka.common.InconsistentBrokerIdException: Configured broker.id 2 doesn't match stored broker.id 0 in meta.prope
Kafka报错总结
u011135852的博客
09-13 1069
1、报no brokers found when trying to rebalance，解决方法：将Kafka服务端启动,./bin/kafka-server-start.sh config/server.properties
Kafka的Producer报错：Fetching topic metadata with correlation id 0 for topics
u013933879的博客
08-09 1万+
问题 在向Kafka生产消息时，报错：Fetching topic metadata with correlation id 0 for topics [Set(game-etl-finished-topic)] from broker [id:0,host:192.168.90.83,port:9093] failed 排查过程 出现问题之前做了一个操作：中断了一次消费程序后再生产数据...
【kafka】记一次线上kafka一直rebalance故障 消费慢 数据积压
九师兄
11-18 3739
文章目录1.背景2. 分析问题3.分析原因4.拉取偏移量与提交偏移量5.解决方案5.1.增加max.poll.interval.ms处理时长5.2设置分区拉取阈值5.3.poll到的消息，处理完一条就提交一条，当出现提交失败时，马上跳出循环，这时候kafka就会进行rebalance,下一次会继续从当前offset进行消费。6.场景再现27.场景再现3 1.背景 今天我司线上kafka消息代理出现错误日志，异常rebalance，而且平均间隔2到3分钟就会rebalance一次，分析日志发现比较严重。错误
kafka部署二
热门推荐
Dean Chen的专栏
09-05 2万+
现在来测试一下，使用kafka内置的命令行工具发送数据，结果出现问题bin/kafka-console-producer.sh --broker-list 10.149.11.151:9092 --topic vehicle_test [2015-09-05 14:18:50,877] WARN Property topic is not valid (kafka.utils.Verifiable
No Brokers Available error when trying to connect to Kafka
Quincy.Coder的博客
06-20 1053
使用Python的kafka模块处理数据时报错： kafka.errors.NoBrokersAailable:NoBrokersAailable 首先去telnet一下kafka的主机，看看是否端口通常，就是看下kafka服务是完好的，没有Down掉，刚开始我以为是我们内部网络的策略修改了，后来同事排查是因为kafka机器磁盘满了，足足有40个gb的数据，磁盘爆了服务就down掉了。完！ ...
NoBrokersAvailableError
jacke121的专栏
05-09 7608
pykafka使用中报错：NoBrokersAvailableError解决方法：C:\Windows\System32\drivers\etc\hosts，添加映射192.168.00.60 KAFKA-VN00
unable to open connection to broker - kafka
Blue summer的博客
12-29 1066
在准备使用kowl来作为kafka管理面板时，发现一直无法连接到broker，提示机器hostname无法解析。
【Kafka】kafka 重平衡（Rebalance）
九师兄
09-21 2万+
说完消费者组，再来说说与消费者组息息相关的重平衡机制。重平衡可以说是kafka为人诟病最多的一个点了。重平衡其实就是一个协议，它规定了如何让消费者组下的所有消费者来分配topic中的每一个分区。比如一个topic有100个分区，一个消费者组内有20个消费者，在协调者的控制下让组内每一个消费者分配到5个分区，这个分配的过程就是重平衡。重平衡的触发条件主要有三个：消费者组内成员发生变更，这个变更包括了增加和减少消费者。注意这里的减少有很大的可能是被动的，就是某个消费者崩溃退出了。
【kafka】Kafka 之 Group 状态变化分析及 Rebalance 过程
九师兄
02-01 3129
文章目录1.概述2. Group 状态机3.offset 那些事4.Topic __consumer_offsets5.GroupCoordinator6.状态转移图7.Consumer 初始化8.Consumer poll 过程解析9.Consumer 初始化时 group 状态变化10.Consumer Rebalance 1.概述 转载：Kafka 之 Group 状态变化分析及 Rebalance 过程 前段时间看一下 Kafka 的部分源码（0.10.1.0 版），对一些地方做了一些相应的总结。
Kafka之broker丢数据原因
雪落南城的博客
07-15 2433
kafka丢数据的原因 当ack =1 的时候，leader收到消息并把它写入到分区数据文件(不一定同步到磁盘上)时会返回成功，但此时follower还没有同步到最新消息，如果此时leader挂了，则消息丢失 在Linux系统上，消息会被写到文件系统缓存里，并不保证他们何时会被刷新到磁盘上，kafka不会一直等待数据被写到磁盘上--它依赖复制功能来保证消息的持久性 详解： 一个 parti...
kafka报错broker is not available!
weixin_39276664的博客
06-29 4319
当kafka报Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)错的时候，首先检查server.properties中的host.name是否一致，若是在spin...
【Kafka】Kafka 2.6新功能：消费者主动触发Rebalance
九师兄
10-27 1357
转载：https://www.cnblogs.com/huxi2b/p/13278206.htmlKafka 2.6引入的新功能：消费者能够主动触发Rebalance。一直以来，Rebalance的触发都是由Coordinator来执行的，但有些场景下消费者端能够主动触发Rebalance会很有必要。举个例子，在ConsumerPartitionAssignor接口中有个subscriptionUserData方法可以实现自定义的用户数据。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值