【Flink】Discard registration from TaskExecutor SplitFetcher received unexpected exception

已于 2023-12-27 22:56:35 修改
阅读量2.9k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink hive big data
于 2022-03-03 21:07:10 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/123262747
版权
本文介绍了在使用Flink消费Kafka新group.id时遇到的问题，即TaskExecutor SplitFetcher在处理SplitFetcher线程时收到意外异常，同时伴随着NoOffsetForPartitionException。错误提示表明存在未定义的分区偏移量且无重置策略。分析可能与消费策略有关，最终通过设置'scan.startup.mode' = 'group-offsets'解决了问题，但随后又出现ResourceManager不识别TaskExecutor的报错。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

FLink消费kafka 一个新的 group.id ，消费一个老 topic ，服务启动的时候，遇到了这个问题。

  1. Discard registration from TaskExecutor SplitFetcher
  2. SplitFetcher thread 0 received unexpected exception while polling the records
  3. NoOffsetForPartitionException: Undefined offset with no reset policy for partitions

具体的错误如需

错误1

2022-03-03 19:
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】Flink 1.12.2 源码浅析 : TaskExecutor
九师兄
08-07 921
1.概述 转载：Flink 1.12.2 源码浅析 : TaskExecutor TaskExecutor 是TaskManger的具体实现. 二 .TaskExecutorGateway TaskExecutor 是TaskManager的具体实现, 首先看网关都实现了什么逻辑. 清单如下 2.1. 类图 2.2. 接口清单 名称描述CompletableFuture requestSlot( SlotID slotId, JobID jobId, AllocationID allocationI.
Flink : UnknownTaskExecutorException: No TaskExecutor registered under
九师兄
07-03 4389
异常类UnknownTaskExecutorException继承自ResourceManagerException，构造函数显示了错误消息"No TaskExecutor registered under {taskExecutorId}."，其中taskExecutorId是引发异常的具体TaskExecutor的ID。综上所述，您可以根据以上分析和推测，检查TaskExecutor ID是否正确，查看注册TaskExecutor的过程中是否有异常，以及排除与通信或网络相关的问题。
Flink消费Kafka报错：SplitFetcher thread 0 received unexpected exception while polling the records
最新发布
字节熊猫
08-28 664
上面的信息是在flink中展示报错信息。查看Kafka服务端，又发现如下错误信息。
Flink报错：SplitFetcher thread 0 received unexpected exception while polling the records
qq_39889944的博客
03-27 1898
针对报错的解决方案进行汇总，并展示我的解决方案
Cause: java.sql.SQLException: No operations allowed after statement closed.
weixin_43777152的博客
02-08 1504
Cause: java.sql.SQLException: No operations allowed after statement closed.
Flink cdc +doris生产遇到的问题汇总-持续更新
热门推荐
qq_31866793的博客
02-14 1万+
版本： Flink版本 1.13 Flink cdc版本 2.1.1 场景说明： 使用flink cdc stream api 读取mysql整库数据直接写入doris 大概100G数据量，大概几十个表，大表小表，字段多，字段少，单个字段类型复杂等等情况都包含了。 出现情况： 任务运行一段时间之后挂掉，出现问题： 2022-02-11 18:33:59,461 INFO com.ververica.cdc.connectors.mysql.source.enumerator.My.
Flink CDC报The connector is trying to read binlog starting at xxx but this is no longer available问题解决
qq_41018861的博客
06-09 3087
在FlinkCDC的issues,我见到了比较多的人提了问题，官方建议mysql 侧 binlog文件日期保留长点但是，依然解决不了问题。并且对于读账号问题10s问题阿里云官方并未说明，笔者也是咨询大佬才了解到。社区有人建议试试加这个配置笔者尚未实践，之后考虑加一下试试。如果大家和笔者一样实在没有办法就选择重启吧。FlinkCDC对这个问题的优化并没有很好。
解决 flink-connector-pulsar 报错This batch size is %d [X]
Kartist139的博客
03-21 364
One or more fetchers have encountered exception, flink-pulsar-connector 版本问题!!! 调整到合适的版本
flink环境搭建,无法创建taskManager
qq_31983635的博客
03-03 4596
./start-cluster.sh 启动后,页面上除了jobmanager上面的taskmanager其他三个节点都没有显示 查看日志:
【Flink】Flink心跳机制分析
九师兄
06-17 1109
1.概述 心跳机制通过定期向对方发送请求方式用于检测客户端或者服务端是否存活的一种机制，常见的心跳检测有两种： socket 套接字SO_KEEPALIVE本身带有的心跳机制，定期向对方发送心跳包，对方在收到心跳包后会自动回复； 应用自身实现心跳机制，同样也是使用定期发送请求的方式 Flink中ResourceManager、JobMaster、TaskExecutor三者之间存在相互检测的心跳机制，ResourceManager会主动发送请求探测JobMaster、TaskExecutor是否存活，Jo.
Flink 1.14测试cdc写入到kafka案例
Rocky
04-10 1389
Flink cdc实时数据采集
FlinkCDC作业处理慢追不上binlog产生的速度，导致binlog被清理的解决方案
weixin_43777152的博客
02-14 3769
Caused by: java.lang.IllegalStateException: The connector is trying to read binlog starting at Struct{version=1.6.4.Final,connector=mysql,name=mysql_binlog_source,ts_ms=1668149633760,db=,server_id=0,file=mysql-bin.003889,pos=116719908,row=0}, but this is n
flink读kafka报错：Undefined offset with no reset policy for partitions
ASN_forever的博客
05-28 8369
Caused by: org.apache.kafka.clients.consumer.NoOffsetForPartitionException: Undefined offset with no reset policy for partitions: [test-topic-1] 这是因为设置的auto.offset.reset为none，表示如果在kafka broker中找不到当前消费者组的offset时，则抛出异常。 下面是源码中的解释： /** * <code&gt.
【Flink源码】Flink心跳机制
wwb44444的博客
11-06 834
在一文中，我们在讲述 TaskExecutor 启动流程时，在 TaskExecutor 构造方法中讲到 TaskExecutor 维护了与 ResourceManager 和 JobMaster 的心跳服务同样在 ResourceManager 启动时也维护了与 JobMaster 和 TaskManager 的心跳接下来我们针对 ResourceManager 与 TaskManager 的心跳交互流程来深入探究 flink 的心跳机制。
FlinkSQLread hive IllegalArgumentException: field does not exist
WYRM
04-19 925
1、FlinkSQL读取和hive数据发生字段不存在 创建一个hive表，先插入一条数据，然后再修改表增加一个update_time字段，再用FlinkSQL查询就会报update_time, 字段不存在。 2、异常报错如下 +--------------------------------+-------------+-------------------------------+ | name | age |
flink kafka NoOffsetForPartitionException: Undefined offset with no reset policy for partitions解决
高亮博客
06-17 599
flink kafka NoOffsetForPartitionException: Undefined offset with no reset policy for partitions
hive升级HiveException java. lang. RuntimeException
JavaBigData的博客
11-06 218
【代码】hive升级HiveException java. lang. RuntimeException。
FlinkCDC-Hudi:Mysql数据实时入湖全攻略六：极限压测下炸出来的FlinkCDC-Hudi坑，真多
m0_66705151的博客
02-27 5361
一篇文章告诉你，使用FlinkCDC写入Hudi完成数据入湖会遇到什么坑。
flinksql FROM_UNIXTIME
10-14
flinksql中的FROM_UNIXTIME函数用于将Unix时间戳转换为指定格式的日期时间字符串。它的语法如下： ``` FROM_UNIXTIME(unixtime [, format]) ``` 其中，`unixtime`是Unix时间戳，`format`是可选参数，用于指定输出的日期时间格式。如果不指定`format`参数，则默认输出格式为`yyyy-MM-dd HH:mm:ss`。 例如，以下flinksql语句将Unix时间戳转换为日期时间字符串： ``` SELECT FROM_UNIXTIME(1619712000) as dt; ``` 输出结果为： ``` +---------------------+ | dt | +---------------------+ | 2021-04-30 00:00:00 | +---------------------+ ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值