Exceeded checkpoint tolerable failure threshould【记一次flink上线异常】

最新推荐文章于 2024-06-16 15:37:42 发布
最新推荐文章于 2024-06-16 15:37:42 发布
阅读量1.6w 收藏 9
点赞数 3
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/devcy/article/details/114576580
版权

最近完成一个业务需求，flink程序上线之后，跑了不到一分钟就挂了，查看日志，报错如下：

org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold.
        at org.apache.flink.runtime....

在这里插入图片描述
明显，checkpoint超时了，于是，我下意识地去检查checkpoint的设置，
代码中的设置如下：

        // 每 ** ms 开始一次 checkpoint
        env.enableCheckpointing(10*</
最低0.47元/天 解锁文章
程序员椰子橙
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
【Flink】Flink Exceeded checkpoint tolerable failure threshold
九师兄
01-22 2101
1.概述 Flink程序，如果单平行度运行是正常的，多并行度运行时有一个subtask的数据量很少，写kafka的数据为0，在做checkpoint的时候就会超时。报错如图 这个错误的意思是：超过检查点可容忍失败阈值 对应的源码位置位于 /** * 超过检查点可容忍失败阈值 */ public static final String EXCEEDED_CHECKPOINT_TOLERABLE_FAILURE_MESSAGE = "Exceeded
Flink报错：org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold
小蚯蚓的博客
01-14 4692
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold 一、问题描述 flink执行任务报错 2022-01-11 15:10:49 org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. at org.apache.flink.runtime.c
解决 - java.lang.OutOfMemoryError： unable to create new native thread
芝麻开花
03-23 2862
  工作中碰到过这个问题好几次了，觉得有必要总结一下，所以有了这篇文章，这篇文章分为三个部分：认识问题、分析问题、解决问题。   一、认识问题: 首先我们通过下面这个 测试程序 来认识这个问题：运行的环境 （有必要说明一下，不同环境会有不同的结果）：32位 Windows XP，Sun JDK 1.6.0_18， eclipse 3.4， 测试程序： impo...
Flink端到端的精确一次
xinglu20的博客
06-16 667
这行代码启用了检查点，并设置了检查点的模式为精准一次。检查点间隔为5000毫秒。这行代码创建了一个Flink执行环境，它是所有Flink程序的开始。这行代码设置了检查点的存储路径，这里我们选择了HDFS作为存储介质。1.hadoop,zookeeper和kafka启动。只需要在实验一的基础上修改kafkf消费主题命令就行。3.创建对应需要的kafka主题。2.创建flink需要的存档点。更具代码的路径创建对应的目录。同KafkaEOSDemo。
Flink CheckPoint ： Exceeded checkpoint tolerable failure threshold
lck_csdn的博客
06-09 2785
Flink异步IO查询HBase数据超时，导致创建checkpoint失败
Flink任务失败，检查点失效：Exceeded checkpoint tolerable failure threshold.
热门推荐
weixin_45943866的博客
07-19 1万+
在报Exceeded checkpoint tolerable failure threshold.错误的之前，是先报的是Checkpoint expired before completing.大概意思是检查点在完成前过期了。
flink 出现反压场景， 异常场景造成Exceeded checkpoint tolerable failure threshold.
u012447842的博客
10-14 6883
现象： flink 自定义写hdfs 的addsink 方法处理慢，出现了挤压现象；导致上游反压，后排查发现时 addsink 里面有一个解析rawtrace方法耗时很长， 同时RichSinkFunction 是和平行度一样的线程数， 导致出现了阻塞解决方案： 把解析rawtrace代码放在了keyby， map里， keyby是按照traceId， 将解析rawtrace 放在procesfuntion里， 每来一条数据就解析一次， 而不是在最后写入的时候去解析，这样不会出现阻塞的现象。
[Flink 日记]Exceeded checkpoint tolerable failure threshold.
王先生的博客
05-24 3711
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. 原因CheckpointTimeout 设置的Checkpoin超时时间内未完成任务 导致的超时异常。 解决 1，增加超时时间 2，增加机器性能 。 ...
记一次MySQL数据库问题排查
12-14
`Error: ER_LOCK_WAIT_TIMEOUT: Lock wait timeout exceeded; try restarting transaction`表明某个事务在等待其他事务释放锁资源时超过了预设的超时时间。事务是数据库操作的重要组成部分，它确保了数据的一致性和...
详解 Java Maximum redirects (100) exceeded
08-30
该问题的主要原因是HttpClient的默认设置中，最大重定向次数被设置为100次，如果超出这个限制，HttpClient将抛出异常，提示.Maximum redirects (100) exceeded。 要解决这个问题，可以通过设置HttpClient的参数来...
解决File size limit exceeded 错误的方法
01-21
但是在 运行到第 49万条时，脚本终止，提示错误“File size limit exceeded”，遂google之，原来是某个文件大小超过系统限制。笔者第一反应，日志文件写满了？？？赶忙查看 log，居然只有几十K !!! 那么这个 “大...
SpringSecurity3.1.2控制一个账户同时只能登录一次
06-01
综上所述，通过自定义`SessionRegistry`、`ConcurrentSessionControlStrategy`，以及正确配置Spring Security XML，我们可以实现在Spring Security 3.1.2中一个账户只能登录一次的功能。这个过程涉及到对Spring ...
flink sql 报错：FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold
zuixue_lei的博客
06-13 1422
当出现这种错误时，原因一般是启动任务时，所给的资源不够。 可以调整 streamx 界面上的并行度、task的内存调大。 然后重启任务看下是否能行。
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold
m0_37987037的博客
10-13 5033
org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold. 原因 CheckpointTimeout 设置的Checkpoin超时时间内未完成任务 导致的超时异常。 解决 1，增加超时时间 2，增加机器性能 3，减少数据处理量 ：source并行度 和窗口数据量减少，sink 并行度增加 ...
Flink报错：exceeded checkpoint tolerable failure threshould
东城庞太师
03-14 3789
问题如图： 原因： 资源太小 checkpoint时间太小 数据库连接未关闭，资源未释放。 解决： 重新部署运行，正常！
flink程序：Exceeded checkpoint tolerable failure threshould
syd19950119的博客
10-26 3267
@[TOC]Exceeded checkpoint tolerable failure threshould 在写一个flink程序时报错， Exceeded checkpoint tolerable failure threshould 百思不得其解，百度问题发现需要收费，简直无语 最后找到问题所在 我是使用了ListState，在第一次运行时他需要添加值，我设置初始值为null，而源码中要求不能为null 一般电脑性能好的话是不会出现这个问题，但是在第一次运行时需啊哟时间去拿到值，而我设置的checkp
Flink｜checkpoint 超时报错问题处理（FlinkRuntimeException）
长行
01-07 1542
Flink 的 checkpoint 的超时时间时 600 秒，但是这个任务需要 11 分钟才能完成。另一方面也可能是因为线上运行时，对 MySQL 请求时走的是内网请求，而本地运行走的是外网请求。为了评估一个 Flink 程序的处理效果，我使用本地模式启动了 Flink 程序，并在上游表中一次性插入了大量数据（大概相当于线上单个并发 4 - 5 分钟的最大处理量），以触发计算。但是，在本地计算中，一直无法计算完成，观察后发现任务在被重复计算，进而发现 Flink 在不断从 checkpoint 恢复。
【Flink】Flink检查点时间太小导致Exceeded checkpoint tolerable failure threshould
九师兄
06-29 7231
1.背景 写了一个flink程序，大概如下 @Test public void flatMapStateBackendTest() throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); // 每隔1000 ms进行启动一个检查点【设置checkpoint的周期】 env.enableCheckp.
ASP外观专利图像检索平台(源代码+论文).rar
最新发布
07-21
ASP外观专利图像检索平台(源代码+论文)
exceeded checkpoint tolerable failure threshold
09-17
"exceeded checkpoint tolerable failure threshold" 是一个表示某个检查点可接受故障阈值已超过的错误信息。 在计算机科学中，检查点是程序执行过程中的一个关键时刻，它代表了一个合法的状态，可以在之后的故障恢复中使用。检查点机制可以帮助程序在发生故障时恢复到之前的某个有效状态，从而减少数据丢失和程序崩溃的影响。 这个错误信息提示"exceeded checkpoint tolerable failure threshold"表示程序在执行过程中已经超过了能够容忍的故障阈值。换句话说，程序在某个时刻发生的故障次数已经达到或超过了系统事先设定的限制。 这可能意味着当前程序运行的稳定性较差，出现的故障次数已经超过设计的容忍范围。超过阈值的故障次数可能导致程序无法正常恢复或运行，可能会造成数据丢失或程序崩溃。 解决这个问题的方法包括增加故障恢复机制的容错能力，改进代码质量以减少故障的发生，或者增加计算资源或系统配置以提高系统的稳定性。 总之，"exceeded checkpoint tolerable failure threshold"这个错误信息告诉我们程序发生的故障次数已超过系统容许的阈值，需要采取措施来解决和改进程序的稳定性和故障恢复能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值