【Flink】Flink 记录一个 checkpoint 检查点 越来越大的问题

已于 2023-12-26 14:33:38 修改
阅读量2.5k 收藏 1
点赞数 1
分类专栏： 大数据-flink 文章标签： flink 大数据
于 2023-01-01 23:45:00 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/125417018
版权
大数据-flink 专栏收录该内容
840 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文探讨了Flink SQL中checkpoint大小不断增大的问题，分析了可能原因，包括窗口操作、状态保留、RocksDB增量快照等。尽管设置了增量检查点，但在无新数据情况下，checkpoint仍保持较大体积。文中提到了状态TTL的设置，并讨论了savepoint与全量快照的差异。建议检查RocksDB配置，参考相关优化文章解决这个问题。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.概述

Flink SQL checkpoint越来越大咋么办，从2个G，现在4个G了，增量同步的，窗口是1小时，watermark是6小时，按道理来说，数据量不应该越来越大啊？

在窗口内执行了count(distinct )这些操作。设置了状态的ttl。后端状态存储用的rocksdb。

在这里插入图片描述
状态如下
在这里插入图片描述
设置了增量的检查点
在这里插入图片描述
代码设置不一定有效，需要看实际设置成功了没。这里有才说明你设置成功了

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】RocksDB增量模式checkpoint大小持续增长的问题及解决
九师兄
06-24 2640
转载：RocksDB增量模式checkpoint大小持续增长的问题及解决Flink版本：1.13.5一个使用FlinkSQL开发的生产线上任务， 使用Tumble Window做聚和统计，并且配置table.exec.state.ttl为7200000，设置checkpoint周期为5分钟，使用rocksdb的增量模式。正常情况下，任务运行一段时间以后，新增和过期的状态达到动态的平衡，随着RocksDB的compaction，checkpoint的大小会在小范围内上下起伏。实际观察到，checkpoint大
Flink 管理大型状态之增量 Checkpoint
SmartSi
09-24 378
Apache Flink 是一个有状态的流处理框架。什么是流处理应用程序的状态呢？你可以理解状态为应用程序算子中的内存。但是，有状态的流处理仅在状态可以容错的情况下才建议在生产环境中使用。这里的容错是指即使出现软件或机器故障，计算的最终结果也是准确的，不会出现丢失数据或重复计算的情况。Flink 的容错一直是一个功能强大的特性，可以最大限度地减少软件或机器故障对我们业务带来的影响，并可以保证 Flink 应用程序结果的 Exactly-Once 语义。
【Flink系列】- RocksDB增量模式checkpoint大小持续增长的问题及解决
马路上开飞机
03-31 6882
背景 一个使用FlinkSQL开发的生产线上任务， 使用Tumble Window做聚和统计，并且配置table.exec.state.ttl为7200000，设置checkpoint周期为5分钟，使用rocksdb的增量模式。 正常情况下，任务运行一段时间以后，新增和过期的状态达到动态的平衡，随着RocksDB的compaction，checkpoint的大小会在小范围内上下起伏。 实际观察到，checkpoint大小持续缓慢增长，运行20天以后，从最初了100M左右，增长到了2G，checkpoi
Flink 调优：大规模状态数据集中的 Checkpoint 实战
GatsbyNewton
09-06 1791
Checkpoint 的配置对于 Flink 应用程序的性能和稳定性有这至关重要的影响，本文介绍大规模状态数据集中的 Checkpoint 实战。
Flink在大规模状态数据集下的checkpoint调优
走在前往架构师的路上
12-26 5346
文章目录前言Checkpoint快慢的性能指标相邻Checkpoint的间隔时间设置外部State的存储选择 前言 众所周知，Flink内部为了实现它的高可用性，实现了一套强大的checkpoint机制，还能保证作用的Exactly Once的快速恢复。对此，围绕checkpoint过程本身做了很多的工作。在官方文档中，也为用户解释了checkpoint的部分原理以及checkpoint在实际生...
flink state TTL(Time To Live) 如何应对飞速增长的状态？checkpoint机制原理？
qq_44962429的博客
07-30 1887
在Flink的流式计算作业中，经常会遇到一些状态数不断累积，导致状态量越来越大的情形。例如，作业中定义了超长的时间窗口。对于这些情况，如果处理不好，经常导致堆内存出现 OOM，或者堆外内存（RocksDB）用量持续增长导致超出容器的配额上限，造成作业的频繁崩溃，业务不能稳定正常运行。 从 Flink 1.6 版本开始，社区引入了 State TTL 特性，该特性可以允许对作业中定义的 Keyed 状态进行超时自动清理（通常情况下，Flink 中大多数状态都是 Keyed 状态，只有少数地方会用到 Opera
Flink 启用与配置检查点 Checkpoint
SmartSi
09-25 1362
Flink 中每个函数和算子都可以是有状态的（请参阅了解详细信息）。有状态函数在处理单个元素/事件时会存储数据。为了能够使状态可以容错，Flink 需要对状态进行 Checkpoint。Checkpoint 可以允许 Flink 在流中恢复状态以及消费位置。关于 Flink 容错机制背后的技术请参阅的详细文档。
Flink 监控检查点 Checkpoint
SmartSi
09-25 699
Flink的 Web 页面中提供了一些页面标签，用于监控作业的检查点 Checkpoint。这些监控统计信息即使在作业终止后也可以看到。Checkpoints 监控页面共有四个不同的 Tab 页签：Overview、History、Summary 和 Configuration，它们分别从不同角度进行了监控，每个页面都包含了与 Checkpoint 相关的指标。
Flink笔记(十九)：Flink 从 Checkpoint 中恢复数据
01-20
在大数据流处理领域，Apache Flink 是一个关键的开源框架，它提供了强大的实时计算能力。在 Flink 中，为了应对程序错误或人为取消任务时的数据丢失问题，Checkpoint 机制是至关重要的。本篇将深入讲解如何利用 ...
【Flink】解决Flink在测试环境无法保存checkpoint问题
九师兄
12-09 605
解决Flink在测试环境无法保存checkpoint问题本文章是和遇到问题的作者一起排查的。主要还是对方牛逼。但是这个问题好难搞，我也记录一下。
Flink大状态优化笔记
Anna4的博客
02-01 735
一、问题表现 1、taskmanager不断重启。 2、吞吐量不断下降，数据堆积，checkpoint失败 二、解决： 1、由于我们是程序开发，自定义状态，所以首先考虑优化中间结构，将原有MapState中的多个值，简化key及value，state减少了1/3，后自定义对象pojo实现序列化接口，方便存取。状态也减少了一些，但是效果不大。 2、开启增量（怎么忘记了这个！） new RocksDBStateBackend(checkpointUrl, true) 3、做完上面两步后，taskmanager就
Flink checkpointing 耗时很长
weixin_40912883的博客
04-03 2843
官方有提供checkpointing debug建议。https://ci.apache.org/projects/flink/flink-docs-release-1.4/ops/state/large_state_tuning.html现在遇到过的情况列举如下：通过成功的checkpointing历史记录，查看start delay时间，推断出现在系统有背压。第一次checkpointing就...
flink的背压问题产生原因和解决方法
hellojoy的博客
01-12 2146
https://www.jianshu.com/p/74c031b1ec29 最近flink job出现了背压的问题, 后果是导致了checkpoint的生成超时, 影响了flink job的运行. 定位问题: 如下图: 1) flink的checkpoint生成超时, 失败: checkpoint超时 2) 查看jobmanager日志,定位问题: jobmanager日志 3) 找大神帮忙定位问题, 原来是出现了背压的问题, 缓冲区的数据处理不过来，bar...
Flink系列之：大状态与 Checkpoint 调优
zhengzaifeidelushang的博客
12-17 739
应用程序需要能够可靠地创建 checkpoints。在应用故障后，需要有足够的资源追赶数据输入流。第一部分讨论如何大规模获得良好性能的 checkpoints。后一部分解释了一些关于要规划使用多少资源的最佳实践。限制：目前，task 本地恢复仅涵盖 keyed state backends。Keyed state 通常是该状态的最大部分。在不久的将来，我们还将支持算子状态和计时器（timers）。以下 state backends 可以支持 task 本地恢复。
Flink系列：checkpoint调优
NIO4444
06-28 539
目录 特殊字符 # ; “”和‘’和`` \ 转义符号 引用 双引号 “” 单引号'' 反引号`` 特殊字符 # 注释 ; ;可以将多个命令可以写在一行 “”和‘’和`` \ 标致特殊字符不转义，比如"或‘ 转义符号 引用 双引号 “” 变量会进行解释 单引号'' 变量原样输出 反引号`` 存储执行命令的结果 .........
tensorflow中设置保存checkpoint的最大数量
lfs666666的博客
12-30 4381
tensorflow中设置保存checkpoint的最大数量 1、例如： # Set up a RunConfig to only save checkpoints once per training cycle. run_config = tf.estimator.RunConfig(save_checkpoints_secs=1e9,keep_checkpoint_max = 10) ...
如何在 Amazon EMR 中运行 Flink CDC Pipeline Connector
Turk的专栏
09-29 746
由于 Amazon EMR 最新的 Flink 版本中没有原生支持 Flink CDC，因此这里介绍一种通过 FlinkCDC Pipeline Connector 同步数据的例子(MySQL->Kafka)
Flink集群部署
最新发布
IT深耕十余载，大道之简
09-30 803
综上所述，Flink集群部署是一个复杂但至关重要的过程。通过仔细准备环境、下载与安装软件、配置参数、启动集群以及进行测试与验证等步骤，可以确保Flink集群的稳定性和可用性。同时，在选择部署模式和注意事项方面也需要根据实际需求进行权衡和决策。Flink支持多种部署模式，包括Standalone模式、YARN模式和Kubernetes模式等。在选择部署模式时，需要考虑集群的规模、资源利用率、可维护性等因素。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值