【Flink】Flink 做检查点 报错 Checkpoint Coordinator is suspending.

已于 2022-10-18 22:03:37 修改
阅读量2.3k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink java 大数据
于 2022-10-18 22:03:15 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/125024105
版权
在Flink任务执行检查点时遇到错误，错误信息为'Checkpoint Coordinator is suspending.'。错误发生于启动检查点调度的过程中，并在尝试重置标记变量和释放资源时触发。目前的处理策略是对该错误进行忽略。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

flink任务做检查点的时候报错 Checkpoint Coordinator is suspending.

在这里插入图片描述
报错位置位于

/**
     * 检查点协调器暂停
     */
    CHECKPOINT_COORDINATOR_SUSPEND(false, "Checkpoint Coordinator is suspending."),
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Flink】Failed to create checkpoint storage at checkpoint coordinator side
九师兄
02-09 3437
因为某些原因，flink报错如下报错位置位于源码看起来是创建checkpoint存储文件的时候，报错，这个要看你使用的是什么类型的状态后端。比如这个报错就是连接了Hadoop的备NameNode，而且这次是本地运行。
Flink写入hdfs报错：Flink job failed with “Checkpoint Coordinator is suspending
长臂人猿的博客
01-29 6372
问题描述 Flink接入kafka数据写入hdfs集群，正常运行一段时间20min到1h作业后报错，failed挂掉。 报错信息 检查点问题： Flink job failed with “Checkpoint Coordinator is suspending. 2020-12-26 20:58:54 org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoffTimeStrategy(
Flink报错：org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold
小蚯蚓的博客
01-14 4723
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold 一、问题描述 flink执行任务报错 2022-01-11 15:10:49 org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.c
Flink协调器Coordinator及自定义Operator
最新发布
shirukai
06-06 1392
最近的项目开发过程中，使用到了Flink中的协调器以及自定义算子相关的内容，本篇文章主要介绍Flink中的协调器是什么，如何用，以及协调器与算子间的交互。
flink 之 Checkpoint 出现的错误
Sen的博客
02-20 7156
文章目录flink 任务运行中出现的错误一、flink 维护状态变量出现走过的弯路：1、flink 维护状态变量有三种方式：<1>、MemoryStateBackend<2>、FsStateBackend<3>、RocksDBStateBackend2、出现的错误：<1>:当使用 FsStateBackend 的时候出现的错误 如下图：错误如下：&l...
Flink Checkpoint超时 引发TaskManager进程挂掉
weixin_43865381的博客
12-23 6404
Flink Checkpoint超时问题 文章目录 Flink Checkpoint超时问题问题现象问题分析问题1：TaskManager进程挂掉问题2：任务长时间处于CANCELING问题3：Checkpoint超时问题4：数据无法正常同步 解决思路总结参考文档 问题现象 业务部门最近使用Flink来做数...
flink checkpoint 一直失败导致任务失败的一种情况
konstantin的博客
06-07 800
flink checkpoint 一直失败导致任务失败的一种情况
Flink｜checkpoint 超时报错问题处理（FlinkRuntimeException）
长行
01-07 1934
Flink 的 checkpoint 的超时时间时 600 秒，但是这个任务需要 11 分钟才能完成。另一方面也可能是因为线上运行时，对 MySQL 请求时走的是内网请求，而本地运行走的是外网请求。为了评估一个 Flink 程序的处理效果，我使用本地模式启动了 Flink 程序，并在上游表中一次性插入了大量数据（大概相当于线上单个并发 4 - 5 分钟的最大处理量），以触发计算。但是，在本地计算中，一直无法计算完成，观察后发现任务在被重复计算，进而发现 Flink 在不断从 checkpoint 恢复。
org.apache.flink.runtime.checkpoint.CheckpointException: Checkpoint Coordinator is suspending.
05-17
2. 检查 Flink 集群的日志，看看是否有关于 Checkpoint 协调器的错误或异常情况。 3. 确保 Flink 集群和任务的配置是正确的，特别是关于 Checkpoint 的配置，例如 Checkpoint 的间隔时间和最大并发 Checkpoint 数量...
Flink 启用与配置检查点 Checkpoint
SmartSi
09-25 1328
Flink 中每个函数和算子都可以是有状态的（请参阅了解详细信息）。有状态函数在处理单个元素/事件时会存储数据。为了能够使状态可以容错，Flink 需要对状态进行 Checkpoint。Checkpoint 可以允许 Flink 在流中恢复状态以及消费位置。关于 Flink 容错机制背后的技术请参阅的详细文档。
启动Flink疑似出现检查点报错的问题记录
Jomly Kellenda的博客
01-21 821
2021-01-21 16:51:55 org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.checkpoint.CheckpointFailureManager.handleJobLevelCheckpointException(CheckpointFailureManager.java:66) ...
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold
m0_37987037的博客
10-13 5092
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. 原因 CheckpointTimeout 设置的Checkpoin超时时间内未完成任务 导致的超时异常。 解决 1，增加超时时间 2，增加机器性能 3，减少数据处理量 ：source并行度 和窗口数据量减少，sink 并行度增加 ...
Hudi系列25: Flink SQL使用checkpoint恢复job异常
只是甲的博客
05-23 1763
如果是整个yarn-session异常，也可以启动yarnsession的时候指定checkpoint。在网上看到的资源都是针对代码级别的，没有看到Flink SQL级别的。对于一些大表，最好还是先通过Spark进行初始化，然后在接增量。把yarn-session的资源由8G提升到16G问题解决。在Flink web界面将Flink SQL任务手工结束掉。Flink可以自己重试，这个还是比较不错，无需人工干预。等mysql启动成功之后，任务又可以继续衔接上。看来是我的checkpoint都没成功。
CheckpointCoordinator触发执行Checkpoint流程
墨玉浮白的博客
03-13 529
TaskExecutor收到Execution发送的“触发执行Checkpoint”请求后，会根据尝试执行Execution的唯一标识，从TaskSlotTable中取出对应的Task实例，让Task执行具体的Checkpoint操作。至此，CheckpointCoordinator就完成了它“触发执行Checkpoint”的使命，并将其交给每个Source节点所对应的Execution来完成具体的执行。最终，由StreamTask提供“触发执行Checkpoint”操作的具体实现。
关于flink状态中使用TreeSet，当执行checkpoint时出现空指针错误。
qq_39902301的博客
02-09 736
flink状态中使用TreeSet，当执行checkpoint时出现空指针错误NullPointerException。
Flink的CheckPoint机制
分享Java技术知识，共同成长进步！
08-25 1826
这里已经是Flink的第三篇原创啦。第一篇：Flink入门讲解了Flink的基础和相关概念，第二篇：压背原理，讲解了什么是背压，在Flink背压大概的流程是怎么样的。 这篇来讲Flink另一个比较重要的知识，就是它的容错机制checkpoint原理。 所谓的CheckPoint其实就是Flink会在指定的时间段上保存状态的信息，如果Flink挂了可以将上一次状态信息再捞出来，重放还没保存的数据来执行计算，最终可以实现exactly once。 状态只持久化一次到最终的存储介质中（本地数据库/HDFS)
解决Flink在测试环境无法保存checkpoint问题
qy8502的专栏
11-19 4816
在测试环境部署的flink，无法成功的存储checkpoints。或者使用flink命令执行savepoint也无法成功保存。hdsf中创建了对应的目录，却没有写任何文件。
Flink Checkpoint 原理流程以及常见失败原因分析
专注大数据、实时计算、程序员成长、经验分享和排坑经历
03-09 3785
前言 目前有赞实时任务主要以 Flink 为主，为了保证实时任务的容错恢复以及停止重启时的状态恢复，几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致，本文结合 Flink 1.9 版本，重点讲述 Flink Checkpoint 原理流程以及常见原因分析，让用户能够更好的理解 F...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值