Flink实例：状态管理State 过期时间TTL

最新推荐文章于 2024-11-19 14:10:34 发布

大数据供成屎

最新推荐文章于 2024-11-19 14:10:34 发布

阅读量3.3k

点赞数 1

文章标签： flink 大数据 java

本文链接：https://blog.csdn.net/lbg20211023/article/details/126592542

版权

本文介绍了Flink中State TTL的功能，用于解决实时计算中状态积累导致的内存问题。从1.6版本开始，Flink提供State TTL特性，允许设定Keyed状态的超时自动清理。文章详细讲解了State TTL的用法，包括TTL时间、UpdateType、StateVisibility等参数，并探讨了不同清理策略，如全状态快照清理、增量清理和RocksDB压缩过滤清理。

摘要由CSDN通过智能技术生成

1 State 过期时间TTL

　　使用 flink 进行实时计算中，会遇到一些状态数不断累积，导致状态量越来越大的情形。

　　例如，作业中定义了超长的时间窗口，或者在动态表上应用了无限范围的 GROUP BY 语句，以及执行了没有时间窗口限制的双流 JOIN 等等操作。

　　对于这些情况，经常导致堆内存出现 OOM，或者堆外内存（RocksDB）用量持续增长导致超出容器的配额上限，造成作业的频繁崩溃。从 Flink 1.6 版本开始引入了State TTL 特性，该特性可以允许对作业中定义的 Keyed 状态进行超时自动清理，对于Table API 和 SQL 模块引入了空闲状态保留时间（Idle State Retention Time）进行状态管理，下面我们具体介绍一下。

1.1State TTL 功能的用法

在Flink 的官方文档中给我们展示了State TTL的基本用法，用法示例如下：

import org.apache.flink.api.common.state.StateTtlConfig;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.common.time.Time;
 
StateTtlConfig ttlConfig = StateTtlConfig
    .newBuilder(Time.seconds(1))
    .setUpdateType(StateTtlConfig.UpdateType.OnCreateAndWrite)
    .setStateVisibility(StateTtlConfig.StateVisibility.NeverReturnExpired)
    .build();
    
ValueStateDescriptorString stateDescriptor = new ValueStateDescriptor("text state", String.class);
stateDescriptor.enableTimeToLive(ttlConfig);

可以看到，要使用 State TTL 功能，首先要定义一个 StateTtlConfig 对象。这个 StateTtlConfig 对象可以通过构造器模式（Builder Pattern）来创建，典型地用法是传入一个 Time 对象作为 TTL 时间，然后设置更新类型（Update Type）和状态可见性（State Visibility），这两个功能的含义将在下面的文章中详细描述。当 StateTtlConfig 对象构造完成后，即可在后续声明的状态描述符（State Descriptor）中启用 State TTL 功能了。

从上述的代码也可以看到，State TTL 功能所指定的过期时间并不是全局生效的，而是和某个具体的状态所绑定。换而言之，如果希望对所有状态都生效，那么就需要对所有用到的状态定义都传入 StateTtlConfig 对象。