分享一个Flink checkpoint失败的问题和解决办法

VIP文章 已于 2022-04-15 16:46:44 修改
阅读量2.3k 收藏 3
点赞数 2
文章标签： flink java
于 2020-08-14 16:22:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/perfma6/article/details/108007337
版权

本文来自: HeapDump性能社区

PerfMa(笨马网络)官网

接触Flink一段时间了，遇到了一些问题，其中有一个checkpoint失败导致作业重启的问题，遇到了很多次，重启之后一般也能恢复正常，没有太在意，最近2天有同事又频繁遇到，这里记录一下解决方案和分析过程。

我们的flink测试环境有3个节点，部署架构是每个flink节点上部署一个HDFS的DataNode节点，hdfs用于flink的checkpoint和savepoint

现象

image.png

看日志是说有个3个datanode活着，文件副本是1，但是写文件失败

There are 3 datanode(s) running and no node(s) are excluded

网上搜了一下这种报错，没有直接的答案，我看了下namenode的日志，没有更多直接的信息

50070 web ui上看一切正常，datanode的剩余空间都还有很多，使用率不到10%

我试了一下往hdfs上put一个文件再get下来，都ok，说明hdfs服务没有问题，datanode也是通的

最低0.47元/天 解锁文章
HeapDump性能社区
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
大数据Flink（二十七）：Flink 容错机制 Checkpoint
Lansonli（蓝深李）的博客
04-30 1023
一般指一个具体的Operator的状态(operator的状态表示一些算子在运行的过程中会产生的一些历史结果,如前面的maxBy底层会维护当前的最大值,也就是会维护一个keyedOperator,这个State里面存放就是maxBy这个Operator中的最大值)下图左侧是 Checkpoint Coordinator，是整个 Checkpoint 的发起者，中间是由两个 source，一个 sink 组成的 Flink 作业，最右侧的是持久化存储，在大部分用户场景中对应 HDFS。
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
接上文：Flink笔记(十八)：Flink 之 StateBackend 介绍 & 使用，本文介绍 Flink 从 Checkpoint 中恢复数据。 当 Flink 任务提交后，只有遇到 1.程序错误、2.人为 Cancel掉，任务就会停止。 1. 任务异常，设置保存 ...
大数据Hadoop之——Flink的状态管理和容错机制(checkpoint)
匠人精神，持之以恒！
03-03 1400
文章目录一、Flink中的状态1）键控状态（Keyed State）1、控件状态特点2、键控状态类型3、状态有效期 (TTL)1）过期数据的清理2）全量快照时进行清理3）增量数据清理4）在 RocksDB 压缩时清理4、键控状态的使用2）算子状态（Operatior State）1、算子状态特点2、算子状态类型3）广播状态 (Broadcast State)二、状态后端（State Backends）1）状态后端分类2）配置方式1、【第一种方式】基于代码方式进行配置2、第二种方式：基于 flink-conf
Flink checkpoint失败
野狼e族 的博客
04-06 2086
目录 前言 问题描述 问题定位 checkpoint的基本原理 思路 现象 问题解决 前言 Flink容错机制的核心部分是绘制分布式数据流和操作员状态的一致快照。这些快照充当一致的检查点，如果发生故障，系统可以回退到这些检查点。Flink绘制这些快照的机制在“分布式数据流的轻量级异步快照”中进行了介绍。它受用于分布式快照的标准Chandy-Lamport算法的启发，并且专门针对Flink的执行模型进行了量身定制。 问题描述 flink任务，从kafka中获取数据，经过处理，写...
Flink checkpoint failed 问题解决
xiedelong的博客
08-18 5270
参考链接 https://www.shuzhiduo.com/A/QW5Yv6P3dm/ https://blog.csdn.net/lxhandlbb/article/details/90668040 https://blog.csdn.net/zc19921215/article/details/107051883 问题发现： 通过 Flink UI 查看，checkpoint 总是失败 Flink UI 里的每一项具体含义见：https://ci.apache.org/projects/flink/f
Flink Checkpoint 原理流程以及常见失败原因分析
稻草人技术博客
12-28 3744
前言 目前有赞实时任务主要以 Flink 为主，为了保证实时任务的容错恢复以及停止重启时的状态恢复，几乎所有的实时任务都会开启 Checkpoint 或者触发 Savepoint 进行状态保存。由于 Savepoint 底层原理的实现和 Checkpoint 几乎一致，本文结合 Flink 1.9 版本，重点讲述 Flink Checkpoint 原理流程以及常见原因分析，让用户能够更好的理解 Flink Checkpoint，从而开发出更健壮的实时任务。 一、 什么是 Flink Checkpoint 和
大数据面试-20210308：hdfs ，Spark streaming， Flink三者中的checkpoint原理 hdfs checkpoint原理
东城庞太师
06-08 716
每达到触发条件，会由secondary namenode将namenode上积累的所有edits和一个最新的fsimage下载到本地，并加载到内存进行merge （这个过程称为checkpoint），如下图所示：
Flink的checkpoint遇到过什么问题，什么原因导致的
xxy1022_的博客
01-16 721
checkpoint 失败一般都和反压相结合。。我们知道， Flink checkpoint 机制是基于 barrier 的, 在数据处理过程中， barrier 也需要像普通数据一样，在 buffer 中排队，等待被处理。当 buffer 较大或者数据处理较慢时，barrier 需要很久才能够到达算子，触发 checkpoint。尤其是当存在反压时，barrier 需要在 buffer 中流动数个小时，从而导致 checkpoint 执行时间过长，超过了 timeout 还没有完成，从而导致失败。
Flink基础学习笔记（四）Checkpoint与重启策略
weixin_37172178的博客
12-10 517
Checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保证应用流图状态的一致性。检查点的两种实现：（1）检查点算法的简单实现–暂停应用，保存状态到检查点，在重新恢复应用（2）Flink基于检查点算法的优化实现–基于Chandy-Lamport算法的分布式快照，将检查点的保存和数据分开处理，不需要暂停整个应用，这里引入State Backend的概念。
Flink和Iceberg如何解决数据入湖相关问题分析
05-08
Flink和Iceberg如何解决数据入湖相关问题分析，flink iceberg
Flink Unaligned Checkpoint 在 Shopee 的优化和实践.pdf
03-21
Flink Unaligned Checkpoint 在 Shopee 的优化和实践
Flink Checkpoint-轻量级分布式快照.pdf
03-21
Flink Checkpoint-轻量级分布式快照
flink 关于checkpoint 疑虑 1
08-04
背景flink 集群模式 flink on yarn使用flink 读取kafka 数据 简单处理之后使用自定义richWindowFunction 处理数据的
Flink checkpoint 源码分析- Checkpoint barrier 传递源码分析
TONIYH的博客
04-30 701
在上一篇的博客里，大致介绍了flink checkpoint中的触发的大体流程，现在介绍一下触发之后下游的算子是如何做snapshot。
pyflink filter
最新发布
zhaoyangjian724的专栏
04-30 492
import reimport sysreturn {passdict1 = {}!!
Maven 构建 Flink 应用程序的最佳实践（根除各种类冲突/类加载问题）
Laurence的技术博客
04-27 1573
作为开发者，在构建 Flink 应用程序时的体验真是一言难尽，想必大家都曾遇到过各种 ClassNotFoundException、NoSuchMethodError 以及 Could not find any factory for identifier kafka/jdbc/hive/hudi that implements org.apache.flink.table.factories.DynamicTableFactory in the classpath 这样的错误。坦率地说，Flink 的应用
pyflink 读取excel
zhaoyangjian724的专栏
04-27 578
import sysds.print()
Day25-Java基础之常用类1
m0_46053885的博客
04-27 1121
同时我们发现Math类中的方法都是静态的，因此在使用的时候我们可以直接通过类名去调用。对于计算机而言，其实是没有数据类型的概念的，都是0101010101，数据类型是编程语言自己规定的，所以在实际存储的时候，先把具体的数字变成二进制，每32个bit为一组，存储在数组中。比较内存地址值一般情况下是没有意义的，我们希望比较的是对象的属性，如果两个对象的属性相同，我们认为就是同一个对象；如果我们的数据是一个浮点类型的数据，有的时候计算机并不会将这个数据完全转换成一个二进制数据，而是将这个将其转换成一个无限的。
链表刷题集
yajunjiao的专栏
04-30 498
本文主要列举了一些刷的题，不多，有那么几道，也建议各位去建立自己的刷题集。积少成多。
flink checkpoint失败
03-16
Flink checkpoint失败可能有多种原因，以下是一些常见的原因和解决方法： 1. 网络问题：Flink checkpoint需要将数据写入分布式文件系统或者其他存储介质，如果网络不稳定或者存储介质出现问题，就会导致checkpoint失败。解决方法是检查网络连接和存储介质状态，确保它们正常工作。 2. 内存问题：Flink checkpoint需要占用一定的内存空间，如果内存不足，就会导致checkpoint失败。解决方法是增加内存或者调整Flink的配置参数。 3. 代码问题：Flink checkpoint需要保证数据的一致性和正确性，如果代码中存在问题，就会导致checkpoint失败。解决方法是检查代码逻辑，确保它们正确无误。 4. 并发问题：Flink checkpoint需要协调多个任务之间的状态，如果并发度过高或者任务之间存在竞争条件，就会导致checkpoint失败。解决方法是调整并发度或者优化任务之间的协作方式。 总之，Flink checkpoint失败可能是由多种原因导致的，需要根据具体情况进行排查和解决。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HeapDump性能社区

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值