Flink——状态管理、算子状态、状态后端、processFunction

最新推荐文章于 2024-09-24 19:31:56 发布

Aying_seeya

最新推荐文章于 2024-09-24 19:31:56 发布

阅读量1.3k

点赞数 1

分类专栏： Flink 文章标签： flink 大数据

本文链接：https://blog.csdn.net/Aying_seeyou/article/details/107417424

版权

11 篇文章 0 订阅

订阅专栏

Flink 会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑。

列表状态(List state)
将状态表示为一组数据的列表
联合列表状态(Union list state)

也将状态表示为数据的列表。它与常规列表状态的区别在于，在发生故障时，或者从保存点(savepoint) 启动应用程序时如何恢复
广播状态(Broadcast state)

如果一个算子有多项任务，而它的每项任务状态又都相同，那么这种特殊情况最适合应用广播状态。

状态后端主要负责两件事：
1）本地的状态管理；
2）将检查点(checkpoint)状态写入远程存储

MemoryStateBackend

1)内存级的状态后端，会将键控状态作为内存中的对象进行管理，将它们存储在TaskManager的JVM堆上，而将checkpoint存储在JobManager的内存中

2)特点:快速、低延迟，但不稳定
FsStateBackend

1）将checkpoint存到远程的持久化文件系统(FileSystem) 上，而对于本地状态，跟MemoryStateBackend一样，也会存在TaskManager的JVM堆上

2）同时拥有内存级的本地访问速度，和更好的容错保证
RocksDBStateBackend

将所有状态序列化后，存入本地的RocksDB中存储。

ProcessFunction是一个低阶的流处理操作，它可以访问流处理程序的基础构建模块:
1. 事件(event)(流元素)
2. 状态(state)(容错性，一致性，仅在keyed stream中)
3. 定时器(timers)(event time和processing time，仅在keyed stream中)
ProcessFunction可以看作是一个具有keyed state和timers访问权的FlatMapFunction
1. 通过RuntimeContext访问keyed state
2. 计时器允许应用程序对处理时间和事件时间中的更改作出响应。对processElemet…)函数的每次调用都获得一个Context对象，该对象可以访问元素的event time timestamp和TimerService
3. TimerService’可用于为将来的event/process time瞬间注册回调。当到达计时器的特定时间时，将调用onT1imer…)方法。在该调用期间，所有状态都再次限定在创建计时器时使用的键的范围内，从而允许计时器操作键控状态