【Kafka】GroupCoordinatorNotAvailableException - The coordinator is not available

最新推荐文章于 2024-02-20 11:00:28 发布
最新推荐文章于 2024-02-20 11:00:28 发布
阅读量2.3k 收藏
点赞数
分类专栏： 大数据-kafka 文章标签： kafka Abstract Coordinator Discovered coordinator
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/109753824
版权
大数据-kafka 专栏收录该内容
403 篇文章 639 订阅 ¥99.90 ¥299.90
订阅专栏
在重建Kafka主题后，遇到消费者无法消费但生产者正常工作的问题，日志显示'GroupCoordinatorNotAvailableException'。通过删除Kafka及Zookeeper信息后，问题依旧。使用kafka-console-consumer.sh时，发现可以正常生产消费。解决方法是重新构建系统，相关问题包括Kafka协调器未发现、ISR为空和console-consumer参数问题。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.背景

我写了一个程序，该程序是重建所有的kafka topic，步骤如下

  1. 删除kafka 调用shell
  2. 删除kafka的数据
  3. 删除zk上存储的信息

但是重建后，发现，消费者无法消费数据了，但是生成者仍然可以生成数据，并且在shell命令中，kafka-console-consumer.sh 是可以生产和消费的。

就算是写了一个最普通的消费者都无法正常的消费。日志有如下错误，或者没有错误。

Caused by: org.apache.kafka.common.errors.DisconnectException
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Kafak 消费异常：The coordinator is not available.
种一棵树最好的时间是十年前，其次是现在。
05-04 771
记录下 Kafka 踩坑问题 之 The coordinator is not available. 的解决途径；
Kafka 消息无法接收(group coordinator is not available)
热门推荐
随风飘流的博客
01-25 2万+
#问题信息 ##问题现象描述 01-15，收到测试同学反馈，操作库存后，库存扩展数据没有变化。库存扩展数据是通过kafka消息异步更新的 查看消息处理 通过kafka做消息分发，producer和consumer均是同一个应用，消息发送正常，但consumer一直未获取到消息。 应用所有topic的消息均没有被消费。 重启应用后，消息消费正常。运行一段时间，又重现该问题场景 排查过程 找运维同事了...
【异常解决】The coordinator is not available
快乐星球
02-27 4311
CoordinatorNotAvailableException: The coordinator is not available异常解决
kafka 消费组问题 The coordinator is not available
最新发布
reformer77的博客
02-20 671
那么就获取不到这消费组的offset，导致无法消费消息。生产者发送的消息分发到不同的分区中，消费者接收数据的时候是按照消费者组来接收的，不同的消费组消费速度不一样，kafka把这个offset，根据消费组名称均衡的保存到了。有个项目很久没有需求了，今天突然有一些小需求，需要在公司测试环境调接口造些假数据，发现接口响应200，却没有在数据库新增假数据。于是查看了一下kafka节点状态，发现其中一个节点挂了，重启这个节点后就能正常消费了。这就诡异了，命令行的能监听到消息，jar服务监听不到消息，
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
07-07 2244
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
Group coordinator lookup failed: The coordinator is not available.问题
地球人是我哈的博客
05-21 3385
背景：最近使用的项目中用到了kafka，并且需要集成kerberos.这边kerberos认证已经通过，但是在消费的时候一直拉不到数据，随后使用shell命令在服务器上消费数据，结果一样。 后面更改日志级别，发现一直循环打印如下日志: 2020-05-21 10:05:06.651 [ForkJoinPool-1-worker-5] DEBUG org.apache.kafka.clients.Metadata - Updated cluster metadata version 133 to Cluste
kafka-console-consumer 参数 --zookeeper 不可用 与 The coordinator is not available的问题
u013547195的专栏
02-24 4394
事情起因是这样的。我们环境需要用到kafka，现在都是使用容器化的不是，大佬就找了个github星最多docker-kafka连接给我，建议我用这个来搭建。我们开发环境已经有了zk，所以就让我用kafka连上面的zk。kafka搭起来了，生产者可以生产。但是消费者始终是消费不到消息。使用tcpdump抓包也可以确认，消息已经发送到kafka。但是消费者始终无法消费。猜想是不是那个步骤执行错了。所以...
【kafka】kafka Offset commit failed on partition The coordinator is not aware of this member
九师兄
09-26 8248
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
Kafka bootstrap.server is not a recognized option
SmartSi
08-24 2267
在执行 kafka-console-consumer.sh 命令时抛出 bootstrap.server is not a recognized option 异常
SpringKafka无法提交offset问题：Group coordinator not available
SpringBoy的博客
05-28 4269
SpringKafka无法提交offset问题：Group coordinator not available 在使用SpringKafka时，无法提交offset，提交时报错： 2022-05-28 17:24:32.078 INFO 14584 --- [umer_numb-0-C-1] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-consumer_numb-1, groupId=consumer_num
【kafka】Group coordinator xx is unavailable or invalid, will attempt rediscovery
九师兄
12-23 9358
kafka报错，但是这个环境，从监控上看一切正常。9092端口正常，zk正常，服务正常，查看topic正常，但是控制台消费异常。代码消费异常。kafka 相应的hostname 和ip 对应关系没有配置Kafka 消息无法接收(group coordinator is not available)
flink1.12.4消费kafka 报错 The coordinator is not available
qq_40382400的博客
12-08 862
但是任务还在正常跑.
kafka0.11版本消费报错Group coordinator is unavailable or invalid, will attempt rediscovery
gaofeng的博客
09-29 1万+
报错 消费单节点kafka 要么消费很缓慢 要么报错 Group coordinator ip:9092 (id: 2147483647 rack: null) is unavailable or invalid, will attempt rediscovery 重启节点也没用 分析 单节点情况下coordinator 压力太大了 __consumer_offsets这个元主题的历史消息量分配不均衡 有分区kb、M级别正常，有几个分区直接几十G，如果消费的主题在这些压力大的分区，就会消费阻塞 因为这个元主
spring整合kafka时出现Group coordinator is unavailable or invalid, will attempt rediscovery错误
weixin_55174868的博客
05-27 6996
                                                                       .
Kafka Group coordinator xxx:9092 (id: xxx rack: null) is unavailable or invalid
a805814077的博客
03-02 1万+
Kafka Group coordinator xxx:9092 (id: xxx rack: null) is unavailable or invalid 报错 解决
throttleTimeMs=0, errorMessage='null', error=COORDINATOR_NOT_AVAILABLE, node=:-1 (id: -1 rack: null)
WGBLW的博客
03-23 995
kafka 报错 throttleTimeMs=0, errorMessage='null', error=COORDINATOR_NOT_AVAILABLE, node=:-1 (id: -1 rack: null)
GroupCoordinator分析
happy19870612's blog
06-01 4440
一 核心字段 brokerId: Int 该GroupCoordinator所在的节点 groupConfig: GroupConfig 记录了消费者组中consumer session过期的最小时长和最大时长 offsetConfig: OffsetConfig 记录哦OffsetMetadata相关配置，比如metatdata字段允许的最大长度，Offset Topic每一个分区的副本数
kafka发送消息失败排错
qq_41589166的博客
01-10 2754
问题 所有配置均无问题，但是发送后消费者无法消费 日志报错信息 Marking the coordinator hexd-1:9092 (id: 2147483647 rack: null) dead for group test 被标记为死亡, 不能接收消息的原因可能就是消费者死亡导致的 原因 生产者发送消息时以主机名：端口的形式发送消息，而局域网中不能通过主机名互相访问 解决方...
kafka 2.12-3.4.0提示zookeeper is not a recognized option
05-18
这个问题通常发生在Kafka版本和Zookeeper版本之间不兼容的情况下。Kafka 2.12-3.4.0是支持Zookeeper 3.4.x版本的，如果您使用的是Zookeeper的其他版本，可能会导致出现此错误。 您可以尝试升级Zookeeper的版本，或者使用与Kafka 2.12-3.4.0兼容的Zookeeper版本。您还可以检查Kafka配置文件中的Zookeeper连接字符串是否正确，并确保Zookeeper服务器正在运行。 如果问题仍然存在，请提供更多详细信息，以便更好地帮助您解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值