【Flink】Flink 设置检查点失败一次就报错 setTolerableCheckpointFailureNumber 不起作用

已于 2022-07-16 20:34:44 修改
阅读量1.1k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink 大数据
于 2022-07-16 20:34:06 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/124716272
版权
在Flink 1.14.4中，遇到检查点失败但任务未停止的问题。尝试通过RestartStrategies.noRestart和setTolerableCheckpointFailureNumber设置为0无效。解决方法是移除相关重启参数。源码分析显示，最小容忍失败数默认为0，当检查点失败超出限制时，CheckpointFailureManager会处理异常并可能导致任务失败。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

请问大家，Flink怎么让检查点失败，任务马上就停止呢？

Flink 1.14.4，我把检查点设置到了一个不存在的路径，检查点失败，但是任务没有停止。
请问怎么样能让检查点失败导致任务失败停止？

尝试过RestartStrategies.noRestart，以及setTolerableCheckpointFailureNum为0，但是都没有用

对应代码如下

在这里插入图片描述
最终解决 ： -Drestart-strategy=none 设置了这个就可以了。把相关重启参数去掉

2.源码分析

检测点相关的设置都在 CheckpointConfig 中，设置检查点失败容忍值的时候，最小都是0.0代表一次失败就报错


 /**
     * Determines the threshold that we tolerance declined checkpoint failure number. The default
     * value is -1 meaning undetermined and not set via
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
【Flink】Flink检查点时间太小导致Exceeded checkpoint tolerable failure threshould
九师兄
06-29 7239
1.背景 写了一个flink程序，大概如下 @Test public void flatMapStateBackendTest() throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 每隔1000 ms进行启动一个检查点【设置checkpoint的周期】 env.enableCheckp.
【Flink】Flink Exceeded checkpoint tolerable failure threshold
九师兄
01-22 2132
1.概述 Flink程序，如果单平行度运行是正常的，多并行度运行时有一个subtask的数据量很少，写kafka的数据为0，在做checkpoint的时候就会超时。报错如图 这个错误的意思是：超过检查点可容忍失败阈值 对应的源码位置位于 /** * 超过检查点可容忍失败阈值 */ public static final String EXCEEDED_CHECKPOINT_TOLERABLE_FAILURE_MESSAGE = "Exceeded
【Flink 使用注意】关于Checkpoint的tolerableCheckpointFailureNumber的使用
ChengYanan的博客
01-29 2727
我们在使用checkpoint时，会遇到这样一个参数设置： env.getCheckpointConfig().setTolerableCheckpointFailureNumber(1); tolerableCheckpointFailureNumber 限制的是最大可容忍的连续失败checkpoint计数 continuousFailureCounter 参考链接[1]，例如将tolerableCheckpointFailureNumber 设置成3，连续失败3次，continuousFailureC
Flink任务失败，检查点失效：Exceeded checkpoint tolerable failure threshold.
weixin_45943866的博客
07-19 1万+
在报Exceeded checkpoint tolerable failure threshold.错误的之前，是先报的是Checkpoint expired before completing.大概意思是检查点在完成前过期了。
Flink报错：exceeded checkpoint tolerable failure threshould
东城庞太师
03-14 3798
问题如图： 原因： 资源太小 checkpoint时间太小 数据库连接未关闭，资源未释放。 解决： 重新部署运行，正常！
Flink状态管理和检查点机制项目代码.rar
10-19
相对于其他流计算框架，Flink 一个比较重要的特性就是其支持有状态计算。即你可以将中间的计算结果进行保存，并提供给后续的计算使用...当出现异常后，Flink 就可以根据最近的一次的快照数据将所有算子恢复到先前的状态
Flink状态管理与检查点机制.md
08-07
Flink状态管理与检查点机制，进阶篇
6万字、110个知识点Flink面试大全.pdf
11-30
此外，文档中还会深入探讨Flink的容错机制，如检查点（Checkpoint）和保存点（Savepoint），这些机制确保了在系统故障时能够恢复到一致的状态。Flink的事件时间处理、状态管理和延迟处理也是面试中常见的问题，它们...
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
当任务执行到某个检查点时，Flink 会将所有算子的状态持久化到外部存储系统，如 HDFS 或其他持久化存储。这样，即使任务因为故障或者人为操作而中断，也可以从最近的 Checkpoint 恢复，避免重新处理全部数据，从而...
flink1.18.1安装包
05-29
此外，Flink支持状态管理和容错机制，如检查点（Checkpoints）和保存点（Savepoints），以确保在出现故障时能够恢复数据流的状态。 在Linux环境下，你还可以通过设置守护进程（daemon）来启动Flink服务，使其在后台...
Flink checkpoint失败
野狼e族 的博客
04-06 2136
目录 前言 问题描述 问题定位 checkpoint的基本原理 思路 现象 问题解决 前言 Flink容错机制的核心部分是绘制分布式数据流和操作员状态的一致快照。这些快照充当一致的检查点，如果发生故障，系统可以回退到这些检查点。Flink绘制这些快照的机制在“分布式数据流的轻量级异步快照”中进行了介绍。它受用于分布式快照的标准Chandy-Lamport算法的启发，并且专门针对Flink的执行模型进行了量身定制。 问题描述 flink任务，从kafka中获取数据，经过处理，写...
[Flink 日记]Exceeded checkpoint tolerable failure threshold.
王先生的博客
05-24 3738
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. 原因CheckpointTimeout 设置的Checkpoin超时时间内未完成任务 导致的超时异常。 解决 1，增加超时时间 2，增加机器性能 。 ...
flink 出现反压场景， 异常场景造成Exceeded checkpoint tolerable failure threshold.
u012447842的博客
10-14 6920
现象： flink 自定义写hdfs 的addsink 方法处理慢，出现了挤压现象；导致上游反压，后排查发现时 addsink 里面有一个解析rawtrace方法耗时很长， 同时RichSinkFunction 是和平行度一样的线程数， 导致出现了阻塞解决方案： 把解析rawtrace代码放在了keyby， map里， keyby是按照traceId， 将解析rawtrace 放在procesfuntion里， 每来一条数据就解析一次， 而不是在最后写入的时候去解析，这样不会出现阻塞的现象。
Flink checkpoint failed 问题解决
xiedelong的博客
08-18 5565
参考链接 https://www.shuzhiduo.com/A/QW5Yv6P3dm/ https://blog.csdn.net/lxhandlbb/article/details/90668040 https://blog.csdn.net/zc19921215/article/details/107051883 问题发现： 通过 Flink UI 查看，checkpoint 总是失败 Flink UI 里的每一项具体含义见：https://ci.apache.org/projects/flink/f
Exceeded checkpoint tolerable failure threshould【记一次flink上线异常】
热门推荐
devcy的博客
03-09 1万+
最近完成一个业务需求，flink程序上线之后，跑了不到一分钟就挂了，查看日志，报错如下： org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.... 明显，checkpoint超时了，于是，我下意识地去检查checkpoint的设置， 代码中的设置如下： // 每 ** ms 开始一
flink checkpoint 一直失败导致任务失败的一种情况
konstantin的博客
06-07 782
flink checkpoint 一直失败导致任务失败的一种情况
【Flink】如何实现容错
一杯咖啡半杯糖的博客
03-18 2117
Flink作业在生产情况下无法正常运行的情况非常多，很多问题都是无法避免的。对于Flink集群来讲，能够快速从异常状态中恢复，同时保证处理数据的正确性和一致性非常重要。Flink主要借助Checkpoint的方式保障整个系统状态数据的一致性，也就是基于ABS算法。 ABS全称异步屏障快照（Asynchronous Barrier Snapshotting），是对Chandy-Lamport算法（分布式快照算法）在工业项目中落地实现的补充和优化。 Checkpoint的执...
【Flink】Flink 检查点报错 asynchronous part of checkpoint {} could not be completed
九师兄
07-25 651
Flink 检查点报错 asynchronous part of checkpoint {} could not be completed。
Flink Checkpoint expired before completing解决方法
最新发布
司马班如
08-08 581
3.这种方法如果不行，说明是CK过于复杂，需要较多的资源和时间，这个时候，可以考虑修改CK逻辑，使其尽量简便，也可以使用RockDB加快CK的速度。现在回到我们的报错，这个明显是算子的Checkpoint时间超时了，点开CheckPoint节点一看，Checkpoint一直报错。2.延长Checkpoint的超时时间并且把Checkpoint的间隔时间调长一点。在Flink消费Kafka日志的时候出现了这样的一则报错，这个出错的原因主要是：CheckPoint超时导致的。
flink检查点设置
01-09
以下是设置Flink检查点的步骤： 1. 配置检查点的行为： - 如果希望在取消作业时保留检查点，可以将`ExternalizedCheckpointCleanup`设置为`RETAIN_ON_CANCELLATION`。这意味着在正常取消作业时，检查点将被保留...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值