【Flink】Flink做检查点checkpoint一直处于IN_PROGRESS状态

最新推荐文章于 2024-02-02 14:07:04 发布
最新推荐文章于 2024-02-02 14:07:04 发布
阅读量1k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink java 大数据
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/125652565
版权
大数据-flink 专栏收录该内容
837 篇文章 841 订阅 ¥99.90 ¥99.00
订阅专栏

文章目录


在这里插入图片描述

1.概述

flink做checkpoint一直是IN_PROGRESS状态，查看java 堆栈信息展示错误

在这里插入图片描述
根据异常栈找到相应的代码requestMemorySegmentBlocking

 private MemorySegment requestMemorySegmentBlocking(int targetChannel)
            throws InterruptedException {
   
        MemorySegment segment;
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
聊一聊Flink 写 Hive 的小文件问题
03-12 4806
Flink 1.11 引入了写Hive的功能后，已经在上线了一段时间。下面就聊聊我自己对Flink 写Hive 小文件的一些问题和看法。 问题1： 1.Flink 写 Hive 可能会产生小文件吗？ 简单的说，答案是会。 简单总结下Flink 读kafka写Hive的流程 1.Flink 将kafka数据根据设置的分区策略，实时写入对应分区hdfs 目录的临时文件 inprogress，如下图所示。 在inprogress文件的数据，通过hive是无法查询到的。 2.打checkp..
Flink状态管理和检查点机制项目代码.rar
10-19
通过检查点机制，Flink 定期在数据流上生成 checkpoint barrier ，当某个算子收到 barrier 时，即会基于当前状态生成一份快照，然后再将该 barrier 传递到下游算子，下游算子接收到该 barrier 后，也基于当前状态...
Flink StreamingFileSink写入hdfs，文件一直处于inprogress
weixin_44378305的博客
08-19 5524
文件一直处于inprogress归根结底就是checkpoint不成功。使用StreamingFileSink 时需要启用 Checkpoint ，每次做 Checkpoint 时写入完成后，桶中临时文件转成正式文件。如果 Checkpoint 被禁用，部分文件（part file）将永远处于 ‘in-progress’ 或 ‘pending’ 状态，下游系统无法安全地读取。...
Flink StreamingFileSink 文件到hdfs 文件一直处于inprogress状态无法生成正式文件
cullinans的博客
01-30 7186
问题描述： 任务逻辑是通过实时读取Kafka数据，一分钟计算一次数据，并利用Flink StreamingFileSink将数据落地到HDFS文件中。为了应对大促剧增的数据量，对当前运行稳定的集群进行了扩容处理，任务重启后发现写入的hdfs文件一直处于inprogress状态无法滚动生成正式文件。 解决过程： 开始是猜想可能是并行度过多，导致产生大量临时文件，文件句柄太多，关闭耗时导致文件一直无法完成合并？将并行度调整到1，发现问题并没有解决。 又猜想是因为调整了checkpoint参数，禁用掉che
flink写hive hdfs一直挂在.inprogress状态
weixin_42094092的博客
04-21 2310
flink1.12写hive,一直查不出数据,查看hdfs文件,每个分区的文件正常在生成,但都处于.inprogress状态,没有success文件,查看相关资料,是checkpoint失败的问题,解决checkpoint失败问题,数据正常写入
Flink Checkpoint超时问题常见排查思路
cheyanming123的专栏
09-05 4080
本文大致理一下checkpoint出现超时问题的排查思路：（本文基于flink-1.4.2） 超时判断逻辑 jobmanager定时trigger checkpoint，给source处发送trigger信号，同时会启动一个异步线程，在checkpoint timeout时长之后停止本轮 checkpoint，cancel动作执行之后本轮的checkpoint就为超时，如果在超时之前收到了最后...
Flink系列之：监控Checkpoint
zhengzaifeidelushang的博客
12-17 526
摘要计算了所有已完成 checkpoint 的端到端持续时间、增量/全量Checkpoint 数据大小和 checkpoint alignment 期间缓冲的字节数的简单 min/average/maximum 统计信息。请注意，这些统计信息不会在 JobManager 丢失后无法保存，如果 JobManager 故障转移，这些统计信息将重新计数。
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
接上文：Flink笔记(十八)：Flink 之 StateBackend 介绍 & 使用，本文介绍 Flink 从 Checkpoint 中恢复数据。 当 Flink 任务提交后，只有遇到 1.程序错误、2.人为 Cancel掉，任务就会停止。 1. 任务异常，设置保存 ...
flink状态管理示例代码大全完整中文注释
10-19
检查点是Flink容错机制的核心，它定期保存任务的状态快照，以便在发生故障时恢复。通过与源系统协调，Flink能够实现exactly-once语义，确保数据处理的精确性。 "键控状态"（Keyed State）是针对特定键的数据存储，...
flink 关于checkpoint 疑虑 1
08-04
4. **使用增量检查点**：如果Flink版本支持，可以开启增量检查点，这会降低单次检查点所需的状态大小，因为它只保存自上次成功检查点以来的更改。 5. **调整窗口大小**：考虑是否可以调整窗口的大小或触发器策略，...
flink-1.14.0-bin-scala_2.11.tgz
07-18
- 提升了状态一致性：引入了 Checkpoint Coordinator V2，增强了检查点的并发性和容错性，确保数据处理的精确一次语义。 - 改进了连接器和格式：对 Kafka 连接器进行了优化，增强了 Avro 和 Parquet 格式的支持。 - ...
Android14之adb remount报错：Cannot use remount when a checkpoint is in progress(一百八十四)
最新发布
Android系统攻城狮
02-02 2066
本篇目的：解决adb remount时，无法重新以读写挂载设备。Android VDC（Virtual Data Center）是一个在Android操作系统中使用的命令行工具，它允许开发者对应用程序进行虚拟化，以便在不同的环境中测试和调试应用程序。VDC Checkpoint是一个功能，用于在Android设备上创建应用程序的快照，以便在需要时可以回滚到该快照的状态。Commit Changes是Android VDC中的一个操作，用于将已提交的更改应用到应用程序中。
解决Flink在测试环境无法保存checkpoint问题
qy8502的专栏
11-19 4657
在测试环境部署的flink，无法成功的存储checkpoints。或者使用flink命令执行savepoint也无法成功保存。hdsf中创建了对应的目录，却没有写任何文件。
flink checkpoint杂谈
我的祖传代码
05-07 1690
Flink的 Checkpoint 默认是关闭的，当Flink程序的checkpoint被激活时，状态会被持久化到checkpoint，以防止数据丢失和无缝恢复。状态在内部如何组织和它们如何以及在哪持久化，依赖于所选的状态后端。 Flink默认状态是存储在 JM（JobManager）的 JVM内存中，当然也可以存储在远程文件系统如HDFS，只有将状态的快照持久化的...
Flink学习知识分享三（State、Checkpointin）
君永夜
08-08 647
1.State 参考网址：https://ci.apache.org/projects/flink/flink-docs-release-1.8/dev/stream/state/ 1.1定义 实际上就是指flink计算中间的计算结果或者元数据属性等信息，State会做相应的持久化，说白了State就是Flink计算过程中与时间相关的内部数据的快照，它是用于checkpoints做容错。 1.2为...
Flink 检查点启用与配置
weixin_44673830的博客
03-10 3560
Flink版本：1.11 Flink 中每个函数和算子都可以是有状态的。有状态函数在处理单个元素/事件时会存储数据。为了能够使状态可以容错，Flink 需要对状态进行 checkpoint。checkpoint 可以允许 Flink 在流中恢复状态以及消费位置。 1. 前提条件 Flink Checkpoint 机制可以与流和状态的持久化存储进行交互。一般来说，需要： 一个可持久化（或保存很长时间）的数据源：可以重新消费指定时间段的记录。持久化消息队列（例如，Apache Kafka，Rabbi.
Flink双流Join 3种解决方案 + 2种优化方案
huashetianzu的专栏
06-10 3662
在流式计算中，左右表的数据都是无界的，而且是实时到来的。这就会引起流式计算中的 2 个问题 + 大数据中的 2 个核心问题
Flink checkpointing 耗时很长
weixin_40912883的博客
04-03 2721
官方有提供checkpointing debug建议。https://ci.apache.org/projects/flink/flink-docs-release-1.4/ops/state/large_state_tuning.html现在遇到过的情况列举如下：通过成功的checkpointing历史记录，查看start delay时间，推断出现在系统有背压。第一次checkpointing就...
Flink基础学习笔记（四）Checkpoint与重启策略
weixin_37172178的博客
12-10 844
Checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保证应用流图状态的一致性。检查点的两种实现：（1）检查点算法的简单实现–暂停应用，保存状态到检查点，在重新恢复应用（2）Flink基于检查点算法的优化实现–基于Chandy-Lamport算法的分布式快照，将检查点的保存和数据分开处理，不需要暂停整个应用，这里引入State Backend的概念。
flink设置检查点
01-17
在Flink中，可以通过以下步骤来设置检查点： 1. 配置检查点参数：在Flink的配置文件（flink-conf.yaml）中，可以设置以下参数来配置检查点： - `state.checkpoints.dir`：指定检查点保存的目录路径。 - `state.checkpoints.interval`：指定两个连续检查点之间的时间间隔。 - `state.checkpoints.externalized.checkpoint.cleanup`：指定取消应用时检查点的操作方式，可以设置为`RETAIN_ON_CANCELLATION`（保留检查点）或`DELETE_ON_CANCELLATION`（删除检查点）。 2. 启用检查点：在Flink应用程序中，可以通过以下方式启用检查点： - 在`StreamExecutionEnvironment`中调用`enableCheckpointing(interval)`方法，其中`interval`是检查点的时间间隔。 - 可以选择性地设置其他检查点参数，例如`setCheckpointingMode()`（设置检查点模式）和`getCheckpointConfig()`（获取检查点配置）。 3. 执行检查点：在Flink应用程序中，可以通过以下方式执行检查点： - 在需要执行检查点的操作之前，调用`env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE)`方法，确保每个操作都能够参与到检查点。 - 在需要执行检查点的操作之前，调用`env.enableCheckpointing(interval)`方法，指定检查点的时间间隔。 - 在需要执行检查点的操作之前，调用`env.getCheckpointConfig().setCheckpointTimeout(timeout)`方法，指定检查点的超时时间。 - 在需要执行检查点的操作之前，调用`env.getCheckpointConfig().setMaxConcurrentCheckpoints(max)`方法，指定同时进行的最大检查点数。 4. 恢复检查点：在Flink应用程序中，可以通过以下方式恢复检查点： - 在启动Flink应用程序时，可以通过命令行参数`-s`或`--fromSavepoint`指定检查点的存放路径。 - 在代码中，可以通过`env.fromSource(new SavepointSource(savepointPath), ...)`方法来从检查点恢复数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值