Flink实例（126）：状态管理(十五)State 过期时间TTL

已于 2022-03-12 13:11:39 修改
阅读量1.8k 收藏 6
点赞数 1
分类专栏： Flink系统性学习专栏 文章标签： flink big data 大数据
于 2021-03-07 11:50:53 首次发布
原创文章禁止转载。否则追究法律后果。
本文链接：https://blog.csdn.net/u013411339/article/details/114481115
版权
本文深入探讨Apache Flink的状态管理，包括Flink中的状态类型、存储格式、存在的形式以及使用。重点介绍了State的过期时间TTL，解释了如何设置和使用State TTL，以及不同的清理策略，如全状态快照清理和增量清理。此外，文章还提到了Table API和SQL模块的状态管理，以及Flink 1.9.0引入的State Processor API。
摘要由CSDN通过智能技术生成

一、简介

Flink官网的自我介绍：Apache Flink® — Stateful Computations over Data Streams，可以看出状态计算是 Flink 引以为豪的杀手锏。那什么是带状态的计算呢？简单说计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态。

实时计算如果任务失败导致中间状态丢失，将是一个非常可怕的事情。

比如实时计算每天的 pv,uv 等指标，任务掉线后中间状态也丢失了，那只能从凌晨数据重新计算。

如果是有状态的计算大可不必担心，从任务掉线的时刻继续计算，妈妈再也不用担心我的任务掉线了。

下面介绍一下Flink如何实现状态计算和状态管理。

二、Flink中的状态管理

按照数据的划分和扩张方式，Flink中大致分为2类：

Keyed States：记录每个Key对应的状态值一个Task上可能包含多个Key不同Task上不会出现相同的Key ，常用的 MapState,    ValueState

Operator States：记录每个Task对应的状态值数据类型

  1. ListState：并发度在改变的时候，会将并发上的每个List都取出，然后把这些List合并到一个新的List,然后根据元素的个数在均匀分配给新的Task;

  2. UnionListState

了解本专栏 订阅专栏 解锁全文 超级会员免费看
王知无(import_bigdata)
关注
专栏目录
订阅专栏
flink实战--状态管理（State TTL、Operator state、Keyed state)
阿华田的博客
03-13 2400
简介 使用flink进行实时计算中，会遇到一些状态数不断累积，导致状态量越来越大的情形。例如，作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的 GROUP BY 语句，以及执行了没有时间窗口限制的双流 JOIN 等等操作。对于这些情况，经常导致堆内存出现 OOM，或者堆外内存（RocksDB）用量持续增长导致超出容器的配额上限，造成作业的频繁崩溃。从 ...
StateTtlConfig配置项
u011624157的专栏
05-12 2540
StateTtlConfig ttlConfig = StateTtlConfig .newBuilder(org.apache.flink.api.common.time.Time.seconds(1)) .setUpdateType(StateTtlConfig.UpdateType.OnCreateAndWrite) .setState
Flink SQL空闲状态保留时间（idle state retention time）实现原理
LittleMagic's Blog
01-06 5299
前言 如果要列举Flink SQL新手有可能犯的错误，笔者认为其中之一就是忘记设置空闲状态保留时间导致状态爆炸。2021年的第一篇技术文，时间很紧张，聊聊这个简单的话题吧。 为什么要设置 如果我们在数据流上进行分组查询，分组处理产生的结果(不仅仅是聚合结果)会作为中间状态存储下来。随着分组key的不断增加，状态自然也会不断膨胀。但是这些状态数据基本都有时效性，不必永久保留。例如，使用Top-N语法...
flink sql设置并行度_Flink状态管理详解：Keyed State和Operator List State深度解析
weixin_39595302的博客
11-30 527
Flink的状态管理机制详解 本文将重点跟大家讲解Flink的状态管理机制，包括状态要解决的问题、Flink几种不同类型的状态、Keyed State和Operator List State的使用方法等。相关代码参见的github：https://github.com/luweizheng/flink-tutorials。图片文字均为原创，转载请联系本专栏。为什么要管理状态有状态的计算是流处理框架...
Flink实例（128）：状态管理(十七)Table API 和 SQL 模块状态管理(二)
微信搜：import_bigdata，大数据领域硬核原创作者
03-07 583
问题引入 同样以官网文档的案例为起点，这是一个持续查询的 GROUP BY 语句，它没有时间窗口的定义，理论上会无限地计算下去： SELECT sessionId, COUNT(*) FROM clicks GROUP BY sessionId; 这就带来了一个问题：随着时间的不断推进，内存中积累的状态会越来越多，因为数据流是无穷无尽、持续流入的，Flink 并不知道如何丢弃旧的数据。在这种情况下，如果放任不管，那么迟早有一天作业的状态数达到了存储系统的容量极限，从而造成作业的崩溃。 针对这个问题
Flink实例：状态管理State 过期时间TTL
lbg20211023的博客
08-29 3256
一旦设置了 TTL，那么如果上次访问的时间戳 + TTL 超过了当前时间，则表明状态过期了（这是一个简化的说法，严谨的定义请参考org.apache.flink.runtime.state.ttl.TtlUtils类中关于 expired 的实现）。对于 RocksDB 的状态清理，则是通过 JNI 来调用 C++ 语言编写的 FlinkCompactionFilter 来实现，底层是通过 RocksDB 提供的后台 Compaction 操作来实现对失效状态过滤的。如果启用，则每次状态访问都将触发它。..
Flink状态与容错【状态生存时间TTL，清理过期状态】
踏雪无痕
09-04 2470
一.状态生存时间（TTL） 任何类型的键控状态都可以配置状态的生存期（TTL）。如果配置了TTL且状态值已过期，则将尽力清除存储的值。 所有状态收集类型均支持按条目TTL。这意味着列表元素和映射条目独立过期。 为了使用状态TTL，必须首先构建一个StateTtlConfig配置对象。然后可以通过传递配置在任何状态描述符中启用TTL功能： import org.apache.flink.api.common.state.StateTtlConfig import org.apache.flink.api.co
Flink：把状态State全都扒光，远走他乡：State初始，广播状态
马小婧QAQ
06-03 1447
Statechu初始： State是指流计算过程中计算节点的中间计算结果或元数据属性，比如 在aggregation过程中要在state中记录中间聚合结果，比如 Apache Kafka 作为数据源时候，我们也要记录已经读取记录的offset，这些State数据在计算过程中会进行持久化(插入或更新)。所以Apache Flink中的State就是与时间相关的，Apache Flink任务的内部数据(计算数据和元数据属性)的快照。 State分类：Keyed State和Operator Sta.
Flink之State状态编程
shufangreal的博客
03-05 5921
Flink中的状态State 在flink中，状态始终与特定算子相关联，像reduce、sum等算子都是默认带状态的，而map、flatmap本身时不带状态的，如果需要用到状态，可以自定义 为了使运行的flink了解算子的状态，算子需要预先注册其状态 总的来说，有2种类型的状态 算子状态(Operator State) 算子状态的作用范围限定为算子任务 键控状态(keyed State)...
爆肝 3 月，3w 字、15 章节详解 Flink 状态管理！（建议收藏）
张普的专栏
03-21 291
记得点击"大数据羊说",设为星标⭐后台回复【加群】，申请加入优质大数据学习社群1.前言大家好，我是老羊。该文耗时将近 3 个月总结。集博主心得理解之大成。不多说了，本文从盘古开天辟地（...
flink实战--⼤状态作业调优实践指南-Flink SQL 作业篇
最新发布
阿华田的博客
06-04 418
作为一种特定领域语言，SQL 的设计初衷是隐藏底层数据处理的复杂性，让用户通过声明式语言来进行数据操作。而Flink SQL 由于其架构的特殊性，在实现层面通常需引入状态后端 配合 checkpoint 来保证计算结果的最终一致性。目前 Flink SQL 生成状态算子的策略由优化器根据配置项 + SQL 语句来推导，想要在处理有状态的大规模数据和性能调优方面游刃有余的话，用户还是需要对 SQL 状态算子生成机制和管理策略有一定了解。
Flink05的状态管理
m0_58818478的博客
01-12 808
文章目录6.9 Flink 的状态管理6.9.1 State-Keyed State6.9.2 State-Operator State6.10 Flink - End-to-End Exactly-Once 语义6.10.1 Kafka 来实现End-to-End Exactly-Once 语义7、flink-SQL 开发7.1 背景7.2 Flink SQL 常用算子7.2.1 SELECT7.2.2 WHERE7.2.3 DISTINCT7.2.4 GROUP BY7.2.5 UNION 和UNION
详解 Flink 状态管理
qq_24095055的博客
04-29 1298
文章目录1.前言2.状态是什么东西？有了状态能做什么？3.为什么离线计算中不提状态，实时计算老是提到状态这个概念？状态到底在实时计算中解决了什么问题？3.1 离线任务真的是没有状态、状态管理这些个概念这个概念嘛？3.2 实时任务真的只能依赖状态、状态管理嘛？4.有了状态、为什么又出现了状态管理的概念？5.怎么学习 Flink 中的状态、状态管理相关的概念呢？6.Flink 中状态的分类？7.Flink 中状态的使用方式？8.Flink 状态后端的分类及使用建议？9.Flink 中状态的能力扩展 - TTL？
Flink 的state管理(1) -Flink SQL的状态清理
weixin_38813363的博客
03-16 3720
Flink 的状态管理Flink SQL实现状态清理 Flink SQL实现状态清理 背景：分组处理产生的结果会作为中间状态存储下来，随着分组key的不断增加，状态自然也就会不断膨胀。但是这些状态数据基本都具有时效性，不必永久保留。例如：topN语法进行去重，重复的数据一般都位于特定的区间内(例如1小时或者1天)，过了这段时间之后，对应的状态就不需要了。随着时间的增长以及key的增加，面临超出存储的风险越来越大。在一些continuous queries的情况下，不得不去限制state的大小。是否去限制s
flink状态管理
weixin_43816721的博客
05-18 169
【代码】flink状态管理。
Flink的状态管理
止于终老的博客
06-02 324
状态是指在流处理过程中需要保持的数据，它可以是中间计算结果、窗口聚合结果或用户自定义的状态信息。键控状态（Keyed State）：根据流数据的键值对进行管理的状态，每个键对应一个状态。操作符状态（Operator State）：与算子相关的状态，不依赖于键值对，通常用于维护全局的中间结果。列表状态（List State）：维护一组元素的状态，可以添加、删除和更新列表中的元素。联合列表状态（Union List State）：用于将多个列表状态合并为一个列表状态。
Flink状态管理（好文收藏）
m0_60001307的博客
06-22 890
flink中的状态管理，你了解吗
Flink（十一）【状态管理】
功不唐捐，玉汝于成
12-29 1463
Flink 状态管理、算子状态、按键分区状态、状态后端
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

王知无(import_bigdata)

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值