启动Flink疑似出现检查点报错的问题记录

最新推荐文章于 2024-08-22 19:51:17 发布

飞鸟还巢

最新推荐文章于 2024-08-22 19:51:17 发布

阅读量843

点赞数

分类专栏：大数据文章标签： flink java

本文链接：https://blog.csdn.net/sinat_23030553/article/details/112966920

版权

大数据专栏收录该内容

18 篇文章 0 订阅

订阅专栏

2021-01-21 16:51:55

org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold.

at org.apache.flink.runtime.checkpoint.CheckpointFailureManager.handleJobLevelCheckpointException(CheckpointFailureManager.java:66)

at org.apache.flink.runtime.checkpoint.CheckpointCoordinator.abortPendingCheckpoint(CheckpointCoordinator.java:1626)

at org.apache.flink.runtime.checkpoint.CheckpointCoordinator.abortPendingCheckpoint(CheckpointCoordinator.java:1603)

at org.apache.flink.runtime.checkpoint.CheckpointCoordinator.access$600(CheckpointCoordinator.java:90)

at org.apache.flink.runtime.checkpoint.CheckpointCoordinator$CheckpointCanceller.run(CheckpointCoordinator.java:1736)

at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)

at java.util.concurrent.FutureTask.run(FutureTask.java:266)

at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)

at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)

at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)

at java.lang.Thread.run(Thread.java:745)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

飞鸟还巢

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

【Flink】Flink 设置检查点失败一次就报错 setTolerableCheckpointFailureNumber 不起作用

九师兄

07-16

1165

请问大家，Flink怎么让检查点失败，任务马上就停止呢？Flink1.14.4，我把检查点设置到了一个不存在的路径，检查点失败，但是任务没有停止。请问怎么样能让检查点失败导致任务失败停止？尝试过RestartStrategies.noRestart，以及setTolerableCheckpointFailureNum为0，但是都没有用对应代码如下最终解决设置了这个就可以了。把相关重启参数去掉。......

【Flink】Flink跨集群访问开启Kerberos认证的Kafka

九师兄

07-30

2937

Flink提供了三个模块来对集群进行安全验证，分别是HadoopModule、JaasModule、ZooKeeperModule。安全认证相关参数对应的类SecurityOptions。HadoopModule用来对使用UserGroupInformation进行身份验证的框架（kudu、hbase同步框架、hdfs等）进行认证配置。JaasModule用来对使用JaasConfig进行身份验证的框架（kafka、zk、hbase异步框架等）进行认证配置。......

1 条评论您还未登录，请先登录后发表或查看评论

Flink｜checkpoint 超时报错问题处理（FlinkRuntimeException）

长行

01-07

2299

Flink 的 checkpoint 的超时时间时 600 秒，但是这个任务需要 11 分钟才能完成。另一方面也可能是因为线上运行时，对 MySQL 请求时走的是内网请求，而本地运行走的是外网请求。为了评估一个 Flink 程序的处理效果，我使用本地模式启动了 Flink 程序，并在上游表中一次性插入了大量数据（大概相当于线上单个并发 4 - 5 分钟的最大处理量），以触发计算。但是，在本地计算中，一直无法计算完成，观察后发现任务在被重复计算，进而发现 Flink 在不断从 checkpoint 恢复。

flink消费kafka报错

最新发布

weixin_55787608的博客

08-22

1735

ERROR coordinator.SourceCoordinatorContext: Exception while handling result from async call in SourceCoordinator-Source: source. Triggering job failover. org.apache.flink.util.FlinkRuntimeException: Failed to list subscribed topic partitions due to

flink 之 Checkpoint 出现的错误

Sen的博客

02-20

7245

文章目录flink 任务运行中出现的错误一、flink 维护状态变量出现走过的弯路：1、flink 维护状态变量有三种方式：<1>、MemoryStateBackend<2>、FsStateBackend<3>、RocksDBStateBackend2、出现的错误：<1>:当使用 FsStateBackend 的时候出现的错误如下图：错误如下：&l...

【Flink】Flink 做检查点 报错 Checkpoint Coordinator is suspending.

九师兄

10-18

2466

先看看处理方式，可以看到遇到这个报错直接忽略了。然后重置一些标记变量，释放资源的时候报错了。flink任务做检查点的时候报错。报错位置位于启动检查点调度。

再一次记录Flink-cep集群运行报错问题

qq_31866793的博客

04-13

445

一，场景说明 1，版本 flink-1.11.2 flink-cep-1.11.2 2,稍微修改了flinkcep源码 3，本地运行结果 4，集群运行报错二，报错信息三，解决思路报错信息是找不到我们的方法： 1，首先看是不是打包的问题，解压安装包，反编译发现打包是没问题的。 2，看是不是集群的包冲突，看起来也没cep的包 3，cep源码单独打包，通过依赖添加到项目中再打包运行，还是报错。四，最后解决...

flink1.18.0 sql-client报错

yy的博客

11-09

1121

官网下载这个放到$FLINK_HOME/lib下即可。

Flink报错：org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold

小蚯蚓的博客

01-14

4807

org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold 一、问题描述 flink执行任务报错 2022-01-11 15:10:49 org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.c

Exceeded checkpoint tolerable failure threshould【记一次flink上线异常】

热门推荐

devcy的博客

03-09

1万+

最近完成一个业务需求，flink程序上线之后，跑了不到一分钟就挂了，查看日志，报错如下： org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.... 明显，checkpoint超时了，于是，我下意识地去检查checkpoint的设置，代码中的设置如下： // 每 ** ms 开始一

【flink】Checkpoint expired before completing.

一个写了10年bug的程序员日常笔记。

08-07

2489

【代码】【flink】Checkpoint expired before completing.

记录：Flink checkpoint 过期导致失败（线上问题）

shi_xiansheng的博客

08-19

2514

报错信息： 2021-08-18 18:28:40,502 INFO org.apache.flink.runtime.checkpoint.CheckpointCoordinator [] - Triggering checkpoint 1 (type=CHECKPOINT) @ 1629282520408 for job 1cba827ad8a8d68521605157b77a6191. 2021-08-18 18:38:40,502 INFO org.apache.flink.runti

Flink写入hdfs报错：Flink job failed with “Checkpoint Coordinator is suspending

长臂人猿的博客

01-29

6538

问题描述 Flink接入kafka数据写入hdfs集群，正常运行一段时间20min到1h作业后报错，failed挂掉。报错信息 检查点问题： Flink job failed with “Checkpoint Coordinator is suspending. 2020-12-26 20:58:54 org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoffTimeStrategy(

Flink报错Checkpoint expired before completing

qq_36382892的博客

05-22

492

这个报错告警是由于在Flink作业执行过程中，触发或完成检查点（Checkpoint）的过程中，出现了检查点超时未能完成的情况。：确保作业运行时有足够的资源可用，如CPU、内存等，避免资源不足导致作业执行缓慢，进而影响检查点的完成时间。：可以通过调整Flink作业的配置参数，增加检查点的超时时间，以适应作业执行过程中可能出现的耗时操作。：对作业的任务和操作进行性能优化，减少耗时操作，提高作业执行效率，从而减少检查点的时间消耗。

Flink任务失败，检查点失效：Exceeded checkpoint tolerable failure threshold.

weixin_45943866的博客

07-19

1万+

在报Exceeded checkpoint tolerable failure threshold.错误的之前，是先报的是Checkpoint expired before completing.大概意思是检查点在完成前过期了。

Flink任务失败，检查点失效

weixin_59295776的博客

07-28

540

按之前的规律第二天任务就得报这个错误失败了，查看flink任务web界面，任务正常，但检查点确实失败过一次，也是大概那个时间失败的，失败原因和之前一样Checkpoint expired before completing.最近实时平台flink任务频繁失败，报检查点方面的错误，最近集群的hdfs也经常报警：运行状况不良，不知道是否和该情况有关，我的状态后端位置是hdfs，废话不多说，干货搞起来~解决方案：这个错误也是头一次见，更让我好奇的是报这个错误的时间点大概差不多(每两天大概报一次，早晨6点多)。

org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold

m0_37987037的博客

10-13

5202

org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. 原因 CheckpointTimeout 设置的Checkpoin超时时间内未完成任务导致的超时异常。解决 1，增加超时时间 2，增加机器性能 3，减少数据处理量：source并行度和窗口数据量减少，sink 并行度增加 ...

Flink Checkpoint expired before completing解决方法

司马班如

08-08

703

3.这种方法如果不行，说明是CK过于复杂，需要较多的资源和时间，这个时候，可以考虑修改CK逻辑，使其尽量简便，也可以使用RockDB加快CK的速度。现在回到我们的报错，这个明显是算子的Checkpoint时间超时了，点开CheckPoint节点一看，Checkpoint一直报错。2.延长Checkpoint的超时时间并且把Checkpoint的间隔时间调长一点。在Flink消费Kafka日志的时候出现了这样的一则报错，这个出错的原因主要是：CheckPoint超时导致的。

关于flink状态中使用TreeSet，当执行checkpoint时出现空指针错误。

qq_39902301的博客

02-09

800

flink状态中使用TreeSet，当执行checkpoint时出现空指针错误NullPointerException。

flink任务从检查点启动时,消费offset从哪里开始

09-24

当Flink任务从检查点启动时，消费offset从检查点的偏移量开始。检查点是Flink中一种容错机制。在任务执行期间，Flink会定期创建检查点，将任务的状态信息和消费进度保存在分布式文件系统中。这样，当任务失败或需要...