flink1.12.4消费kafka 报错 The coordinator is not available

于 2023-12-08 09:43:01 发布
阅读量678 收藏
点赞数
分类专栏： Flink 文章标签： kafka flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40382400/article/details/134870399
版权

报错


You should retry committing the latest consumed offsets.

Caused by: org.apache.kafka.common.errors.CoordinatorNotAvailableException: The coordinator is not available.

但是任务还在正常跑.


开源bug

[FLINK-28060] Kafka Commit on checkpointing fails repeatedly after a broker restart - ASF JIRA 

导致的现象

任务还在跑 认识消费kafka的偏移量没有随着checkpoint提交到kafka broker. 会导致如果监控任务监控kafka broker存储的偏移量,那么就会任务你的任务一致没有消费.

解决

重启任务 

升级到flink 1.16.x

 

青云游子
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Kafka】GroupCoordinatorNotAvailableException - The coordinator is not available
九师兄
11-17 2262
1.背景 我写了一个程序，该程序是重建所有的kafka topic，步骤如下 删除kafka 调用shell 删除kafka的数据 删除zk上存储的信息 但是重建后，发现，消费者无法消费数据了，但是生成者仍然可以生成数据，并且在shell命令中，kafka-console-consumer.sh 是可以生产和消费的。 就算是写了一个最普通的消费者都无法正常的消费。日志有如下错误，或者没有错误。 Caused by: org.apache.kafka.common.errors.DisconnectE.
【异常解决】The coordinator is not available
快乐星球
02-27 3458
CoordinatorNotAvailableException: The coordinator is not available异常解决
flink1.15.0消费kafka 报错 The coordinator is not available.
yy的博客
09-15 640
但是任务还在正常跑.
Kafka消费组无法消费问题排查实战
中间件兴趣圈
08-24 8384
kafka集群能发送消息，但无法消费消息，这如何是好呢？
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
07-07 1923
[kafka] 消费没有数据的问题解决Group coordinator lookup failed: The coordinator is not available
Flink消费Kafka数据1
08-03
1. 实验环境 2. 资源购买 3. 开始实验
flink消费kafka到greenplum
05-06
flink消费kafka到greenplum， 以及flink datastream,dataset 使用等，实时数据库读取，存储到greenplum，应用窗口等实战例子
Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar
12-27
Flink实时读取Kafka数据批量聚合（定时/按数量）写入Mysql源码+kafka安装包+zookeeper安装包
flink1.12.0连接kafka和mysql的jar包
07-29
flink1.12.0连接kafka和mysql的jar包
Apache Flink如何管理Kafka消费者offsets
12-28
Apache Flink如何管理Kafka消费者offsets
【记一次kafka客户端报org.apache.kafka.common.errors.NotLeaderForPartitionException异常处理】
sunhs1024的博客
04-28 4965
项目场景： 项目中，向kafka集群中生产消息，由下游系统进行消费处理。 问题描述： 在项目实际应用过程中，发现经常性的出现异常： 原因分析： 根据报错内容可知，发送消息时，broker已经不是对应分区的leader了，也就是说问题发生在leader重选举时，由于报错相对比较频繁，即重选举的动作发生的比较频繁，所以问题的重点就是分析是什么原因导致了leaderf发生了重选举。 关于kafka的leadert重选举以及都有哪些情况可能触发重选举，这里不在详细说明，具体可以参考：https://shirenc
Kafka常见错误及解决办法
yiweiyi329的博客
09-24 4万+
1、报错信息： org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518} 报错原因：当消费者消费offset大于或小于当前kafka集...
kafka问题解决：org.apache.kafka.common.errors.TimeoutException
热门推荐
maoyuanming0806的博客
06-03 21万+
记录使用kafka遇到的问题： - 1.Caused by java.nio.channels.UnresolvedAddressException null - 2.org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for t2-0: 30042 ms has passed since b...
kafka 0.10.0 ERROR internals.ConsumerCoordinator: Offset commit failed.
qq_34009542的博客
12-02 1105
kafka，spark版本：kafka 0.10.0 spark2.3.0 ERROR internals.ConsumerCoordinator: Offset commit failed. org.apache.kafka.clients.consumer.RetriableCommitFailedException: Commit offsets failed with retriabl...
kafka 异常：org.apache.kafka.common.errors.UnsupportedVersionException
weixin_44649291的博客
09-08 5116
在部署kafka时出现的一个问题 明明在本地部署没有什么问题，一到其他环境就出现异常，我们来看看异常长什么样子 org.apache.kafka.common.errors.UnsupportedVersionException: Creating topics with default partitions/replication factor are only supported in CreateTopicRequest version 4+. The following topics need va
SpringKafka无法提交offset问题：Group coordinator not available
SpringBoy的博客
05-28 3809
SpringKafka无法提交offset问题：Group coordinator not available 在使用SpringKafka时，无法提交offset，提交时报错： 2022-05-28 17:24:32.078 INFO 14584 --- [umer_numb-0-C-1] o.a.k.c.c.internals.AbstractCoordinator : [Consumer clientId=consumer-consumer_numb-1, groupId=consumer_num
Kafka 消息无法接收(group coordinator is not available)
随风的博客
01-25 2万+
#问题信息 ##问题现象描述 01-15，收到测试同学反馈，操作库存后，库存扩展数据没有变化。库存扩展数据是通过kafka消息异步更新的 查看消息处理 通过kafka做消息分发，producer和consumer均是同一个应用，消息发送正常，但consumer一直未获取到消息。 应用所有topic的消息均没有被消费。 重启应用后，消息消费正常。运行一段时间，又重现该问题场景 排查过程 找运维同事了...
apache kafka系列之kafka.common.ConsumerRebalanceFailedException异常解决办法
李志涛的专栏
05-08 2万+
afka.common.ConsumerRebalanceFailedException: log-push-record-consumer-group_mobile-pushremind02.lf.sankuai.com-1399456594831-99f15e63 can't rebalance after 10 retries at kafka.consumer.ZookeeperCons
flink1.12.4 cdc connect-kafka
最新发布
01-31
Flink 1.12.4是一个流式计算框架，可以用来处理实时数据流。CDC（Change Data Capture）是一种数据捕获技术，可以捕获数据库中的数据变化。而Connect-Kafka是一个用于连接Kafka消息队列的工具。 在Flink 1.12.4版本中，可以使用CDC连接Kafka来实现将数据库中的数据变化实时地写入Kafka消息队列的功能。这样做可以让用户在实时数据处理和分析中更加方便地使用数据库中的数据，将数据变化实时地传输到Kafka消息队列，然后可以通过Flink进行实时处理和分析，以满足不同的业务需求。 使用Flink 1.12.4的CDC连接Kafka，可以使数据在不同系统之间进行快速、可靠的同步，实现数据的实时更新和处理。这样的应用场景包括金融行业的交易数据监控、电商行业的用户行为分析等等。同时，这也有效地减少了数据的延迟，提高了数据的实时性和准确性。 总之，Flink 1.12.4的CDC连接Kafka提供了一个强大的工具，可以帮助用户更好地实现实时数据处理和分析，将数据库中的数据变化以及实时数据传输到Kafka消息队列，为用户提供更加灵活、高效的数据处理解决方案。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值