本文开头附:Flink 学习路线系列 ^ _ ^
1.State介绍
Flink 架构体系的一大特性是:有状态计算。
- 有状态计算:任务执行过程中,会存储
计算过程中产生的中间结果,并提供后续的 Function 或 算子计算结果使用 - 状态:任务内部数据(计算数据和元数据属性)的快照。在计算过程中会进行持久化,保存有任务中间计算结果的数据。
2.State作用
1、实时任务每次计算,需要基于上一次计算结果,所以需要通过 State 将任务每次计算的中间结果进行持久化。
2、任务执行出现错误时,需要从成功的检查点(CheckPoint)中,根据 State 数据进行恢复
3、Flink 增量计算、Failover 机制等,都需要 State 的支撑。
本文详细介绍了Flink中的State特性,包括State的作用、存储实现、分类以及KeyedState和OperatorState的区别和使用场景。State对于Flink的实时计算、故障恢复和增量计算至关重要,而StateBackend的选择对性能有直接影响。文章还通过实例展示了State在Flink处理过程中的应用。
订阅专栏 解锁全文
3712

被折叠的 条评论
为什么被折叠?



