【Flink】Flink state 状态生存时间（TTL）

已于 2024-01-08 20:36:41 修改
阅读量706 收藏 1
点赞数
分类专栏： 大数据-flink 文章标签： flink 大数据
于 2020-07-01 22:26:49 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106027898
版权
大数据-flink 专栏收录该内容
839 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了Apache Flink中状态的生存时间（TTL）特性，讨论了如何配置和使用TTL来清除过期状态，以及不同选项对读取和清理行为的影响。Flink的TTL支持基于处理时间，且状态清理通常在读取过期值时进行。目前，若未读取过期状态，它可能不会被自动删除，但未来可能会有更多自动清理策略。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

一个时间的生存期（TTL）可以被分配给任何类型的被Keys化状态。如果配置了TTL并且状态值已过期，则将尽力清除存储的值，这将在下面更详细地讨论。

所有状态集合类型都支持每个条目的TTL。这意味着列表数据元和映射条目将独立过期。

为了使用状态TTL，必须首先构建StateTtlConfig配置对象。然后，可以通过传递配置在任何状态描述符中启用TTL函数：

import org.apache.flink.api.common.state
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
Flink State TTL 详解
SmartSi
03-02 3173
Flink 1.13 版本 在某些场景下 Flink 用户状态一直在无限增长，一些用例需要能够自动清理旧的状态。例如，作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的 GROUP BY 语句。此外，目前开发人员需要自己完成 TTL 的临时实现，例如使用可能不节省存储空间的计时器服务。还有一个比较重要的点是一些法律法规也要求必须在有限时间内访问数据。 对于这些情况，旧版本的 Flink 并不能很好解决，因此 Apache Flink 1.6.0 版本引入了状态 TTL 特性。该特性可以让 Key.
Flink（三十二）—— Flink 状态生存时间（State TTL）机制的底层实现
weixin_42073629的博客
10-19 5039
前言 从 Flink 1.6 版本开始，社区为状态引入了TTL（time-to-live，生存时间）机制，支持Keyed State 的自动过期，有效解决了状态数据在无干预情况下无限增长导致 OOM 的问题。State TTL 的用法很简单，官方文档中给出的示例代码如下。 StateTtlConfig ttlConfig = StateTtlConfig .newBuilder(Time.seconds(1)) .setUpdateType(StateTtlConfig.Update.
简析Flink状态生存时间（State TTL）机制的底层实现
LittleMagic's Blog
05-12 6277
前言 很久没写过源码走读类型的文章了。最近在做业务需求时用Flink的State TTL非常多，今天就来探索一下吧。 从Flink 1.6版本开始，社区为状态引入了TTL（time-to-live，生存时间）机制，支持Keyed State的自动过期，有效解决了状态数据在无干预情况下无限增长导致OOM的问题。State TTL的用法很简单，官方文档中给出的示例代码如下。 StateTtlConfi...
Flink系列之：State Time-To-Live (TTL)
zhengzaifeidelushang的博客
12-17 546
定期压缩可以加快过期状态条目的清理速度，特别是对于很少访问的状态条目。您可以将其设置为 0 以关闭定期压缩，或设置一个较小的值以加速过期状态条目清理，但它会触发更多压缩。在 NeverReturnExpired 的情况下，过期状态的行为就好像它不再存在一样，即使它仍然需要被删除。默认情况下，过期值会在读取时显式删除，例如 ValueState#value，并在配置的状态后端支持的情况下定期在后台进行垃圾收集。在当前实现下，本地状态不会被清除，但在从以前的快照恢复时，它不会包括删除的过期状态。
Flink学习笔记（十二）：Flink State生命周期 - Time-To-Live (TTL)
小白的专栏
12-29 2390
在前面的 Flink学习笔记（十一）：flink KeyedState运用介绍了如何使用state进行sum操作。但是数据流通常是长时间运行，那么存在的状态将越来越多，如何解决这个问题呢？ 1、Flink State Time-To-Live (TTL) Flink提供了StateTtlConfig机制进行处理。首先我们看下提供的策略类型： TTL 刷新策略（默认OnCreateAndWrite） 策略类型 描述 StateTtlConfig.UpdateType.Disabled 禁用
flink state ttl
07-06 330
flink ttl类型 一般来说ttl用在keyedStream中，官网只介绍了keyed flink ttl用法 import org.apache.flink.api.common.state.StateTtlConfig; import org.apache.flink.api.common.state.ValueStateDescriptor; import org.apache.flink.api.common.time.Time; StateTtlConfig ttlConfig = Stat
Flink实例：状态管理State 过期时间TTL
lbg20211023的博客
08-29 3254
一旦设置了 TTL，那么如果上次访问的时间戳 + TTL 超过了当前时间，则表明状态过期了（这是一个简化的说法，严谨的定义请参考org.apache.flink.runtime.state.ttl.TtlUtils类中关于 expired 的实现）。对于 RocksDB 的状态清理，则是通过 JNI 来调用 C++ 语言编写的 FlinkCompactionFilter 来实现，底层是通过 RocksDB 提供的后台 Compaction 操作来实现对失效状态过滤的。如果启用，则每次状态访问都将触发它。..
Flink状态与容错【状态生存时间TTL，清理过期状态】
踏雪无痕
09-04 2466
一.状态生存时间（TTL） 任何类型的键控状态都可以配置状态的生存期（TTL）。如果配置了TTL且状态值已过期，则将尽力清除存储的值。 所有状态收集类型均支持按条目TTL。这意味着列表元素和映射条目独立过期。 为了使用状态TTL，必须首先构建一个StateTtlConfig配置对象。然后可以通过传递配置在任何状态描述符中启用TTL功能： import org.apache.flink.api.common.state.StateTtlConfig import org.apache.flink.api.co
Flink实例（126）：状态管理(十五)State 过期时间TTL
微信搜：import_bigdata，大数据领域硬核原创作者
03-07 1802
一、简介 Flink官网的自我介绍：Apache Flink® — Stateful Computations over Data Streams，可以看出状态计算是 Flink 引以为豪的杀手锏。那什么是带状态的计算呢？简单说计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态。 实时计算如果任务失败导致中间状态丢失，将是一个非常可怕的事情。 比如实时计算每天的 pv,uv 等指标，任务掉线后中间状态也丢失了，那只能从凌晨数据重新计算。 如果是有状态的计算大可不必担心，从任务掉线的时刻继续计算，妈
Flink Task的生命周期
METON的博客
11-04 1198
一个FlinkJob提交到集群中运行时，会被调度为不同的Task。在前面的文章中，已经介绍了Flink如何根据用户的编写的程序生成调度用的执行图，如何为Task分配计算资源，以及Task之间如何进行数据交换。在这篇文章中，将跟踪一个Task的完整的生命周期，进一步加深对Flink执行过程的理解。 Task和OperatorChain 在前面介绍如何生成JobGraph的文章中，已经了解到Flink会尽可能把能够chaining到一起的算子串联在一起，形成Operat...
Flink 的state管理(2) -Flink State的TTL
weixin_38813363的博客
03-16 993
Flink state 的 TTL 概述：flink进行实时计算中，会遇到一些状态不断累积，导致状态越来越大的情况。例如：作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的Group By语句，以及执行了没有时间窗口限制的双流join等操作。对于这些情况，经常导致堆内存出现OOM，或者堆外内存RocksDB用量持续增长超出容器配额的上线，造成作业频繁的崩溃。从Flink 1.6版本开始引入State TTL机制，该特性可以允许作业中定义的keyed状态进行超时自动处理，对于TableAPI和SQL
flink原理（一） 状态的TTL管理、容错机制
qq_44665283的博客
07-22 2291
flink原理（一） 状态的TTL管理、容错机制
Flink从入门到放弃之入门篇(四)-剖析窗口生命周期
进击吧大数据的博客
02-01 1064
一、应用场景 Apache Flink可以说是目前大数据实时流处理最流行的技术，功能非常强大，支持开发和运行多种不同类型的应用程序。主要特性包括：批流一体化、状态管理、事件时间支持以及精准一次的状态一致性保障等。目前Flink的应用场景整体概括下来包含以下几点： 事件驱动型应用 数据分析(OLAP)型应用 数据管道/ETL类型应用 接下来将针对这三类应用做一个简单的概述，希望读者能有一个大概的了解。 1.1 事件驱动型应用 概念：事件驱动是在计算存储分离的传统应用基础上进
Flink1.8.0重大更新-Flink中State的自动清除详解
微信搜：import_bigdata，大数据领域硬核原创作者
05-26 4964
导读：基于时间的状态访问和对应用程序状态大小进行控制是有状态流处理领域中的常见问题和挑战。Flink的1.8.0版本通过添加对过期状态对象的连续后台清理的支持，显著改进了...
Flink之状态TTL机制内容详解
AnameJL的博客
11-21 1258
Flink之TTL使用
Flink 状态 TTL 如何限制状态的生命周期
SmartSi
09-30 310
基于时间的状态访问限制和自动状态清理是有状态流处理领域的常见挑战。随着 1.6.0 版本发布，Apache Flink 引入了第一个 State TTL 实现来解决这些问题。在当前版本中，状态 TTL 保证在配置超时后状态不可访问，以符合 GDPR 或任何其他数据合规性规则。Flink 社区正在开发多个扩展，以在未来版本中改进和扩展 State TTL 功能。
Flink系列之：Flink 1.8.0 中的状态 TTL：如何在 Apache Flink 中自动清理应用程序状态
zhengzaifeidelushang的博客
12-17 674
Flink系列之：Flink 1.8.0 中的状态 TTL：如何在 Apache Flink 中自动清理应用程序状态
flink state原理，TTL，状态后端，数据倾斜一文全
最新发布
Direction_Wind的博客
02-20 1550
UnionListState 的快照存储数据，在系统重启后，list 数据的重分配模式为： 广播模式；在每个 subtask 上都拥有一份完整的数据；ListState 的快照存储数据，系统重启后，list 数据的重分配模式为： round-robin 轮询平均分配。
flink状态state
07-27
Flink 状态（State）是指在 Flink 流处理应用程序中用于存储和访问数据的一种机制。它可以用于跨事件和跨时间窗口保持和管理数据。Flink 提供了两种类型的状态：键控状态（Keyed State）和操作符状态（Operator ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值