Flink 的state管理(2) -Flink State的TTL

最新推荐文章于 2024-02-27 11:44:26 发布

颜渊月和F

最新推荐文章于 2024-02-27 11:44:26 发布

阅读量995

点赞数 3

本文链接：https://blog.csdn.net/weixin_38813363/article/details/114873362

版权

Flink在实时计算中遇到状态积累问题可能导致作业崩溃。从1.6版本开始，引入State TTL来自动处理超时状态。文章介绍了State TTL的使用方法，包括StateTtlConfig参数和清除策略，如在全量快照清理、增量清理和RocksDB压缩时的清理。

摘要由CSDN通过智能技术生成

Flink state 的 TTL

概述：flink进行实时计算中，会遇到一些状态不断累积，导致状态越来越大的情况。例如：作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的Group By语句，以及执行了没有时间窗口限制的双流join等操作。对于这些情况，经常导致堆内存出现OOM，或者堆外内存RocksDB用量持续增长超出容器配额的上线，造成作业频繁的崩溃。从Flink 1.6版本开始引入State TTL机制，该特性可以允许作业中定义的keyed状态进行超时自动处理，对于TableAPI和SQL模块引入空闲状态保留时间(Idle State Retention Time) 进行状态管理
Flink State TTL使用方法：

StateTtlConfig ttlConfig = StateTtlConfig.newBuilder(Time.Seconds(1))
.setUpdateType(StateTtlConfig.UpdateType.OnCreateAndWrite)
.setStateVisib

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

颜渊月和F

关注关注

3
点赞
踩
1

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Flink State TTL 详解

SmartSi

03-02

3180

Flink 1.13 版本在某些场景下 Flink 用户状态一直在无限增长，一些用例需要能够自动清理旧的状态。例如，作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的 GROUP BY 语句。此外，目前开发人员需要自己完成 TTL 的临时实现，例如使用可能不节省存储空间的计时器服务。还有一个比较重要的点是一些法律法规也要求必须在有限时间内访问数据。对于这些情况，旧版本的 Flink 并不能很好解决，因此 Apache Flink 1.6.0 版本引入了状态 TTL 特性。该特性可以让 Key.

【Flink】Flink state 状态生存时间（TTL）

九师兄

07-01

709

一个时间的生存期（TTL）可以被分配给任何类型的被Keys化状态。如果配置了TTL并且状态值已过期，则将尽力清除存储的值，这将在下面更详细地讨论。所有状态集合类型都支持每个条目的TTL。这意味着列表数据元和映射条目将独立过期。为了使用状态TTL，必须首先构建StateTtlConfig配置对象。然后，可以通过传递配置在任何状态描述符中启用TTL函数： import org.apache.flink.api.common.state.StateTtlConfig; import org.apache.f.

2 条评论您还未登录，请先登录后发表或查看评论

flink state ttl

07-06

331

flink ttl类型一般来说ttl用在keyedStream中，官网只介绍了keyed flink ttl用法 import org.apache.flink.api.common.state.StateTtlConfig; import org.apache.flink.api.common.state.ValueStateDescriptor; import org.apache.flink.api.common.time.Time; StateTtlConfig ttlConfig = Stat

简析Flink状态生存时间（State TTL）机制的底层实现

LittleMagic's Blog

05-12

6293

前言很久没写过源码走读类型的文章了。最近在做业务需求时用Flink的State TTL非常多，今天就来探索一下吧。从Flink 1.6版本开始，社区为状态引入了TTL（time-to-live，生存时间）机制，支持Keyed State的自动过期，有效解决了状态数据在无干预情况下无限增长导致OOM的问题。State TTL的用法很简单，官方文档中给出的示例代码如下。 StateTtlConfi...

Flink之状态TTL机制内容详解

AnameJL的博客

11-21

1269

Flink之TTL使用

Flink实例：状态管理State 过期时间TTL

lbg20211023的博客

08-29

3256

一旦设置了 TTL，那么如果上次访问的时间戳 + TTL 超过了当前时间，则表明状态过期了（这是一个简化的说法，严谨的定义请参考org.apache.flink.runtime.state.ttl.TtlUtils类中关于 expired 的实现）。对于 RocksDB 的状态清理，则是通过 JNI 来调用 C++ 语言编写的 FlinkCompactionFilter 来实现，底层是通过 RocksDB 提供的后台 Compaction 操作来实现对失效状态过滤的。如果启用，则每次状态访问都将触发它。..

flink实战--状态管理（State TTL、Operator state、Keyed state)

阿华田的博客

03-13

2400

简介使用flink进行实时计算中，会遇到一些状态数不断累积，导致状态量越来越大的情形。例如，作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的 GROUP BY 语句，以及执行了没有时间窗口限制的双流 JOIN 等等操作。对于这些情况，经常导致堆内存出现 OOM，或者堆外内存（RocksDB）用量持续增长导致超出容器的配额上限，造成作业的频繁崩溃。从 ...

flink state ttl 清理逻辑（截止到flink1.8之前的逻辑）

longlovefilm的博客

11-18

820

在我们开发Flink应用时，许多有状态流应用程序的一个常见要求是自动清理应用程序状态以有效管理状态大小，或控制应用程序状态的访问时间。 TTL(Time To Live)功能在Flink 1.6.0中开始启动，并在Apache Flink中启用了应用程序状态清理和高效的状态大小管理。在这篇文章中，我们将讨论状态(State)的TTL并且给出用例。此外，我们将展示如何使用和配置状态的TTL。状态的暂时性 State只能在有限的时间内维持有两个主要原因。例如，假设一个Flink应用程序为每个用户提取

Flink1.8.0重大更新-Flink中State的自动清除详解

微信搜：import_bigdata，大数据领域硬核原创作者

05-26

4964

导读：基于时间的状态访问和对应用程序状态大小进行控制是有状态流处理领域中的常见问题和挑战。Flink的1.8.0版本通过添加对过期状态对象的连续后台清理的支持，显著改进了...

Flink系列之：State Time-To-Live (TTL)

zhengzaifeidelushang的博客

12-17

550

定期压缩可以加快过期状态条目的清理速度，特别是对于很少访问的状态条目。您可以将其设置为 0 以关闭定期压缩，或设置一个较小的值以加速过期状态条目清理，但它会触发更多压缩。在 NeverReturnExpired 的情况下，过期状态的行为就好像它不再存在一样，即使它仍然需要被删除。默认情况下，过期值会在读取时显式删除，例如 ValueState#value，并在配置的状态后端支持的情况下定期在后台进行垃圾收集。在当前实现下，本地状态不会被清除，但在从以前的快照恢复时，它不会包括删除的过期状态。

flink原理（一）状态的TTL管理、容错机制

qq_44665283的博客

07-22

2300

flink原理（一）状态的TTL管理、容错机制

FlinkSql hint之状态生命周期 state_ttl

最新发布

weixin_51981189的博客

02-27

1084

（Time-To-Live，生存时间）是一个用于管理状态数据生命周期的机制。在 Flink 流处理中，状态是一个重要的概念，它允许跨时间窗口或事件时间处理的状态化操作。然而，随着时间的推移，这些状态数据可能会变得不再相关或过时。允许你为状态设置一个生存时间。一旦状态数据的生存时间超过了指定的 TTL 值，Flink 就会自动清理这些状态。这有助于减少不必要的状态数据占用，提高系统的稳定性和性能。，意味着任何状态数据的生存时间超过 3 小时后都会被自动清理。，该方式能够使得在上述状态算子中使用与作业级别。

Flink系列之：Flink 1.8.0 中的状态 TTL：如何在 Apache Flink 中自动清理应用程序状态

zhengzaifeidelushang的博客

12-17

678

Flink系列之：Flink 1.8.0 中的状态 TTL：如何在 Apache Flink 中自动清理应用程序状态

flink state原理，TTL，状态后端，数据倾斜一文全

Direction_Wind的博客

02-20

1559

UnionListState 的快照存储数据，在系统重启后，list 数据的重分配模式为：广播模式；在每个 subtask 上都拥有一份完整的数据；ListState 的快照存储数据，系统重启后，list 数据的重分配模式为： round-robin 轮询平均分配。

详解 Flink 状态管理

qq_24095055的博客

04-29

1299

文章目录1.前言2.状态是什么东西？有了状态能做什么？3.为什么离线计算中不提状态，实时计算老是提到状态这个概念？状态到底在实时计算中解决了什么问题？3.1 离线任务真的是没有状态、状态管理这些个概念这个概念嘛？3.2 实时任务真的只能依赖状态、状态管理嘛？4.有了状态、为什么又出现了状态管理的概念？5.怎么学习 Flink 中的状态、状态管理相关的概念呢？6.Flink 中状态的分类？7.Flink 中状态的使用方式？8.Flink 状态后端的分类及使用建议？9.Flink 中状态的能力扩展 - TTL？

Flink-State-TTL 状态过期时间设置