【Kafka】kafka 卡死 Discovered coordinator xx:9092 (id: xxx rack: null) for group xxx

最新推荐文章于 2024-03-20 16:42:48 发布
最新推荐文章于 2024-03-20 16:42:48 发布
阅读量1w 收藏 3
点赞数 5
分类专栏： 大数据-kafka 文章标签： kafka 消费卡死 discovered coordinator
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/110942043
版权
大数据-kafka 专栏收录该内容
403 篇文章 639 订阅 ¥99.90 ¥299.90
订阅专栏
在构建Kafka消费组时遇到程序卡死问题，具体表现为尝试获取partition的开始和结束offset时，系统在'Discovered coordinator'阶段停滞。通过查看源码和ZK信息，发现可能在连接协调器时出现堵塞。虽然本地测试能够正常运行，但在特定环境中（外网），使用boostrap服务器地址9092进行消费会导致卡死，而必须依赖ZK进行消费。问题最终定位为该环境要求使用旧的消费者和ZK进行数据消费。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.背景

构建了一个kafka消费组，然后主要是想获取kafka的partition的开始offset 和结束的offset,但是获取的时候这里再某些环境下这里卡死了。

程序如下


    private Map<TopicPartition, Long> getEdnOffsets(KafkaConsumer
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【kafka】Group coordinator xx is unavailable or invalid, will attempt rediscovery
九师兄
12-23 9507
kafka报错，但是这个环境，从监控上看一切正常。9092端口正常，zk正常，服务正常，查看topic正常，但是控制台消费异常。代码消费异常。kafka 相应的hostname 和ip 对应关系没有配置Kafka 消息无法接收(group coordinator is not available)
Spark消费kafka任务卡死：Marking the coordinator xxx:9092 (id: 2147483647 rack: null) dead for group xxx
九师兄
11-29 9876
1.背景 2. 问题出现 运行了一个spark任务，然后，发现有一个Job特别的慢，其他的最多用了30分钟，但是这个任务却运行了 1.1个小时，数据量是100万的数据。 2.1 任务 点击进入 2.2 DAG 图 2.4 异常JOB 2.5 Job的DAG图 可以看到是从kafka开始消费的。 最后发现任务卡着 3.原因 最后一行 Marking the coordinator pla...
记一次KafkaClient poll阻塞的问题
热门推荐
凤歌
04-13 1万+
kafka poll 阻塞
Kafka 排查 Discovered coordinator XXXXX:9092 (id: 2147483647 rack: null) for group itstyle.
weixin_42226303的博客
06-29 1万+
报错信息： Discovered coordinator DESKTOP-NRTTBDM:9092 (id: 2147483647 rack: null) for group itstyle. 原因： windows 上运行的kafka 拿到的host是机器名而不是IP地址 所以会导致报错 DESKTOP-NRTTBDM 是 Kafka 实例所在服务器的主机名 而9092 是 kafka 的端口即 Kafka 的连接地址。 解决方案 直接修改本机 hosts 文件 windows 系统 hosts 文件位
Kafka配置broker映射错误报错Discovered coordinator xxx rack: null
Dragon_Python的博客
01-12 2871
出现下述报错且一直刷： Discovered coordinator tbds-172-16-122-43:6667 (id: 2147482646 rack: null) 2 原因是hosts映射没配置好： C:\Windows\System32\drivers\etc 改成这样既可 注意换行！！！
聊聊kafka的group coordinator
weixin_34150830的博客
10-03 1329
序 本文主要来讲一个kafka的group coordinator。在kafka0.9.0版本的时候，开始启用了新的consumer config，这个新的consumer config采用bootstrap.servers替代之前版本的zookeeper.connect，主要是要渐渐弱化zk的依赖，把zk依赖隐藏到broker背后。 g...
resiliency java,Kafka Resiliency - 集团协调员
weixin_39673972的博客
02-19 145
As I understand, one of the brokers is selected as the group coordinator which takes care of consumer rebalancing.Discovered coordinator host:9092 (id: 2147483646 rack: null) for group good_groupI hav...
springboot项目连接虚拟机kafka服务器，消息发送、接收问题
sy_wb的博客
10-29 8868
错误信息：Group coordinator promote.localdomain:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery 2018-10-29 14:56:52.496  INFO 33656 --- [ntainer#0-0-C-1] o.a.k.c.c.inte...
【Kafka】GroupCoordinatorNotAvailableException - The coordinator is not available
九师兄
11-17 2373
1.背景 我写了一个程序，该程序是重建所有的kafka topic，步骤如下 删除kafka 调用shell 删除kafka的数据 删除zk上存储的信息 但是重建后，发现，消费者无法消费数据了，但是生成者仍然可以生成数据，并且在shell命令中，kafka-console-consumer.sh 是可以生产和消费的。 就算是写了一个最普通的消费者都无法正常的消费。日志有如下错误，或者没有错误。 Caused by: org.apache.kafka.common.errors.DisconnectE.
重新discovery coordinator，然后JoinGroup + SyncGroup
大JAVA解决方案
07-17 1929
在前面我们讲过，KafkaProducer是线程安全的，同时其内部还有一个Sender，开了一个后台线程，不断从队列中取消息进行发送。 而consumer，是一个纯粹的单线程程序，后面所讲的所有机制，包括coordinator，rebalance, heartbeat等，都是在这个单线程的poll函数里面完成的。也因此，在consumer的代码内部，没有锁的出现。 //客户端线程 while (true) { ConsumerRecords<String, String> ...
Kafka partition 迁移 reassign 卡住问题处理
weixin_40806802的博客
01-22 693
Kafka 运维
Kafka GroupCoordinator机制(九)：GroupCoordinator
lianggx3的博客
10-03 579
GroupCoordinator主要字段如下： class GroupCoordinator(val brokerId: Int, // GroupConfig类型，记录了消费者组中consumer session过期的最小时长和最大时长。 val groupConfig: GroupConfig, ...
8、关于Coordinator
chinve2599的博客
08-30 1907
参考链接：https://www.jianshu.com/p/f01f5f0309a9 一、旧版本Scala消费者客户端的缺陷 在kafka0.9及以前版本的consumer会在zookeeper上/consumers/groupId/ids、/consumers/groupId/topic...
kafka连接提示Group cordinator syh_test:9092
最新发布
qq_44141082的博客
03-20 471
使用管理员权限手动在C:\Windows\System32\drivers\etc\hosts文件中添加映射。控制台这里给出的是域名地址syh_test，这个域名可能是因为解析问题或者限于远程服务器的安全策略做了转换。application.yml配置。在客户端机器上配置hosts解析。服务启动时连接kafka报错。
kafka Transaction coordinator
lzf的博客
02-08 3305
本文转发自技术世界，原文链接　Kafka设计解析（八）- Exactly Once语义与事务机制原理  本文所有Kafka原理性的描述除特殊说明外均基于Kafka 1.0.0版本。为什么要提供事务机制Kafka事务机制的实现主要是为了支持Exactly Once即正好一次语义操作的原子性有状态操作的可恢复性Exactly Once《Kafka背景及架构介绍》一文中有说明Kafka在0.11.0.0...
【Kafka笔记】3.Kafka架构详解
菜鸟sdut的博客
12-14 589
1.Kafka工作流程 Kafka中的消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是...
记录kafka consumer 消费失败
xc312726的专栏
06-07 1万+
简单记录一下困扰一天的kafka问题 背景是拿备份数据启kafka服务，之后项目就连不上kafka 输出大致是这样的： [ Thread-27] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-1, groupId=111] Group coordinator xxxxx:9092 (id: 2147483647 rack: null) is unavailable or invalid, wil...
kafka异常之Commit cannot be completed since the group has already rebalanced and assigned the partition
高新富的博客
11-19 1801
1.问题描述 2020-11-19 10:07:14.216 INFO 58352 --- [.1.136_8848-dev] c.a.n.client.config.impl.ClientWorker : get changedGroupKeys:[] 2020-11-19 10:07:14.218 INFO 58352 --- [ge-manage-group] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=cons
kafka发送数据报错： Error connecting to node xxxxx:9092 (id: 1 rack: null)java.net.UnknownHostExceptio
毅香雪海的博客
04-06 6332
kafka发送数据报错:Error connecting to node xxxxx:9092 (id: 1 rack: null)java.net.UnknownHostExceptio
docker kafka Initialize connection to node decf272afd6a:9092 (id: 1 rack: null) for sending metadata request
06-09
这个问题是关于使用 Docker 部署 Kafka 集群时出现的连接初始化问题。 在 Kafka 集群中，每个节点都有一个唯一的 ID，也就是节点 ID。在你的问题中，节点 ID 为 1，IP 地址为 decf272afd6a，端口号为 9092。Kafka 集群中的每个节点都有一个元数据控制器，用于维护集群中的各种元数据信息。当你使用 Kafka 客户端连接到集群时，首先需要连接到元数据控制器以获取有关集群的信息。 因此，你的问题表示 Kafka 客户端正在尝试连接到集群中的节点 1，以便发送元数据请求并获取集群的信息。如果连接失败，可能是由于网络问题、节点故障或配置错误等原因导致的。你需要检查 Kafka 集群的配置和状态，以确保节点之间的连接正常，并且元数据控制器能够正常工作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值