分享一个Flink checkpoint失败的问题和解决办法

已于 2022-04-15 16:46:44 修改
阅读量2.5k 收藏 3
点赞数 2
文章标签： flink java
于 2020-08-14 16:22:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PerfMa6/article/details/108007337
版权
本文分析了Flink作业中checkpoint失败的问题，发现原因是由于HDFS的块大小设置不当，导致在高并发下datanode被预定过多空间。解决方案是通过调整Flink配置文件，设置合适的HDFS块大小，避免小文件引发的datanode空间不足。此外，文中还讨论了Flink的checkpoint机制和HDFS不适合存储小文件的原因。
摘要由CSDN通过智能技术生成

本文来自: HeapDump性能社区

PerfMa(笨马网络)官网

接触Flink一段时间了，遇到了一些问题，其中有一个checkpoint失败导致作业重启的问题，遇到了很多次，重启之后一般也能恢复正常，没有太在意，最近2天有同事又频繁遇到，这里记录一下解决方案和分析过程。

我们的flink测试环境有3个节点，部署架构是每个flink节点上部署一个HDFS的DataNode节点，hdfs用于flink的checkpoint和savepoint

现象

image.png

看日志是说有个3个datanode活着，文件副本是1，但是写文件失败

There are 3 datanode(s) running and no node(s) are excluded

网上搜了一下这种报错，没有直接的答案，我看了下namenode的日志，没有更多直接的信息

50070 web ui上看一切正常，datanode的剩余空间都还有很多，使用率不到10%

我试了一下往hdfs上put一个文件再get下来，都ok，说明hdfs服务没有问题，datanode也是通的

日志现象1

最低0.47元/天 解锁文章
HeapDump性能社区
关注
9、Flink SQL 流式概念之状态管理详解
猫猫爱吃小鱼粮
08-21 737
Flink SQL 流式概念之状态管理详解
Flink Checkpoint失败的解决方法
BugCrusher的博客
08-15 844
总结一下，Flink的checkpoint机制是实现容错性的重要手段，但有时我们可能会遇到checkpoint被拒绝的问题。然而，有时在使用Flink时，我们可能会遇到“Flink checkpoint被拒绝”的错误。Checkpoint是Flink中一种重要的机制，用于实现故障恢复。当发生故障时，Flink可以使用最近的checkpoint来恢复应用程序的状态，并继续处理数据。然而，当我们在使用Flink进行checkpoint时，有时会遇到checkpoint被拒绝的情况。在上述示例中，我们使用了。
Flink checkpoint失败
野狼e族 的博客
04-06 2298
目录 前言 问题描述 问题定位 checkpoint的基本原理 思路 现象 问题解决 前言 Flink容错机制的核心部分是绘制分布式数据流和操作员状态的一致快照。这些快照充当一致的检查点，如果发生故障，系统可以回退到这些检查点。Flink绘制这些快照的机制在“分布式数据流的轻量级异步快照”中进行了介绍。它受用于分布式快照的标准Chandy-Lamport算法的启发，并且专门针对Flink的执行模型进行了量身定制。 问题描述 flink任务，从kafka中获取数据，经过处理，写...
FLINK-checkpoint失败原因及处理方式
最新发布
牧夏的个人博客
07-24 308
在或其他分布式数据处理系统中，Checkpoint 失败可能由多种原因引起。
Flink checkpoint failed 问题解决
xiedelong的博客
08-18 5728
参考链接 https://www.shuzhiduo.com/A/QW5Yv6P3dm/ https://blog.csdn.net/lxhandlbb/article/details/90668040 https://blog.csdn.net/zc19921215/article/details/107051883 问题发现： 通过 Flink UI 查看，checkpoint 总是失败 Flink UI 里的每一项具体含义见：https://ci.apache.org/projects/flink/f
Flink任务 checkPoint失败 问题排查记录
热门推荐
Kingsley's Blog
06-17 1万+
背景 公司有一个实时报表项目，需要使用到flink来进行处理。 处理逻辑大概如下： 需要使用canal监控多张表，然后进行一些复杂计算。 程序设置 flink程序代码里面设置了 checkPoint和自动重启机制 //checkpoint配置 env.enableCheckpointing(300000); env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); env.getCheckpointConf
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
在大数据流处理领域，Apache Flink 是一个关键的开源框架，它提供了强大的实时计算能力。在 Flink 中，为了应对程序错误或人为取消任务时的数据丢失问题，Checkpoint 机制是至关重要的。本篇将深入讲解如何利用 ...
flink checkpoint超时问题排查方法
csa121的博客
08-05 2775
一般来讲，checkpoint配置10s-60s都是合理的，默认的超时时间是600s，在业务逻辑不复杂的情况下，极少会出现超时的情况 如果发生了超时。就需要先定位到具体的机器和进程。 然后再根据业务场景排查具体是什么问题引起的超时。 flink集群和上下游组件正常运行的情况下，由于业务逻辑处理或者数据问题导致超时的概率应该在99%以上，所以在排除系统问题的情况下，直接从业务逻辑定位问题是正确的方向。 排查思路分3步： 1. 先找到超时的subtask序号 如果超时正在发生，可以直接在 这里看到超时的那一条
flink checkpoint失败问题
wppwpp1的专栏
03-25 2986
1、flink ckpt失败的问题 https://mp.weixin.qq.com/s/5o8rbz07Je17ZHnRz97-Rg 2、先去jobmanager去查询相关日志，说明flinksql有点问题 java.lang.Exception: Could not complete snapshot 1 for operator GroupAggregate(groupBy: (user_id), select: (user_id, KeyByFunction(p...
【Flink】Flink 反压机制 导致checkpoint 失败
九师兄
11-20 1680
1.概述 转载：flink检查点checkpoint失败问题总结-2 问题描述：检查点刚开始是可以的做checkpoint的，后期越来越不能够做checkpoint的情况总结 2.反压问题 2.1 什么是反压(如下图1所示)？ 图2-1 部分算子反压表现（web ui） 2.2.flink中反压机制是干什么的？ ​ flink中的反压机制是flink中由于个别算子接收receive数据的速度远大于处理完成数据的速度，数据在算子接收之前的数据积压（在buffer缓冲区），过多的数据积压时反压导致上游的算.
Flink Checkpoint 原理流程以及常见失败原因分析
稻草人技术博客
12-28 3972
前言 目前有赞实时任务主要以 Flink 为主，为了保证实时任务的容错恢复以及停止重启时的状态恢复，几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致，本文结合 Flink 1.9 版本，重点讲述 Flink Checkpoint 原理流程以及常见原因分析，让用户能够更好的理解 Flink Checkpoint，从而开发出更健壮的实时任务。 一、 什么是 Flink Checkpoint 和
Flink的checkpoint遇到过什么问题，什么原因导致的
xxy1022_的博客
01-16 1005
checkpoint 失败一般都和反压相结合。。我们知道， Flink checkpoint 机制是基于 barrier 的, 在数据处理过程中， barrier 也需要像普通数据一样，在 buffer 中排队，等待被处理。当 buffer 较大或者数据处理较慢时，barrier 需要很久才能够到达算子，触发 checkpoint。尤其是当存在反压时，barrier 需要在 buffer 中流动数个小时，从而导致 checkpoint 执行时间过长，超过了 timeout 还没有完成，从而导致失败。
记录Flink1.9线上checkpoint失败的问题
zc280330的博客
01-26 942
记录Flink1.9线上checkpoint失败的问题 最新在线上更新了代码之后导致了任务在消费kafka数据的时候,突然就不消费数据了,发现原因在公司的可视化界面中,看不到数据的更新,进入flink监控页面中看到任务没有failover过的记录 任务界面 虽然任务在正常的运行中,但实际情况是已经不消费数据了,最开始以为代码有问题,经过检查发现代码没有问题,然后查看checkpoint的情况,发现了问题,flink在做checkpoint的时候出现了失败 checkpoint失.
Flink｜问题处理记录：数据倾斜导致 checkpoint 失败问题处理【v2】
长行
03-24 1012
任务上游为 40 个 Kafka TOPIC，下游为 OTS。在 2024.03.23 04:13 的 checkpoint 突然无法在 100 分钟内完成，两次 checkpoint 均失败，第 3 次 checkpoint 已可以预支仍会失败。两次失败的 checkpoint（3739 和 3740）的详细信息如下：可以看到，在两次 checkpoint 中，subtask 20 均没有完成 checkpoint 的确认。
如何排查 Flink Checkpoint 失败问题？
学一次的博客
09-01 889
Checkout 在 Flink 中非常重要，其他指标大家也需要多关注。这是 Flink 相关工作中最常出现的问题，值得大家搞明白。如有好的面试知识或技巧期待您的共享！图有点问题，因为都是成功没失败的，尴尬了。方法很多，这里看自己习惯和公司提供的系统。一站式解决面试问题，你可以搜索微信小程序。
Could not complete the pending checkpoint xx. Failure reason: Failure to finalize checkpoint
三石
09-15 790
CheckpointException: Could not complete the pending checkpoint xx. Failure reason: Failure to finalize checkpoint
flink checkpoint失败
03-16
Flink checkpoint失败可能有多种原因，以下是一些常见的原因和解决方法： 1. 网络问题：Flink checkpoint需要将数据写入分布式文件系统或者其他存储介质，如果网络不稳定或者存储介质出现问题，就会导致checkpoint...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HeapDump性能社区

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值