Flink流式框架的状态管理

一、Flink中的状态

1）由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态；

2）可以认为状态就是一个本地变量，可以被任务的业务逻辑访问；

3）Flink会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑；

4）在Flink中，状态始终与特定算子相关联；

5）为了使运行时的Flink了解算子的状态，算子需要预先注册其状态；

6）总的来说，有两种类型的状态：

      ****  算子状态（Operator State）：算子状态的作用范围限定为算子任务；

      ****  键控状态（Keyed  State）：根据输入数据流中定义的键（key）来维护和访问；

 

1、算子状态（Operator  State）

1）算子状态的作用范围限定为算子任务，由同一并行任务所处理的所有数据都可以访问到相同的状态；

2）状态对于同一子任务而言是共享的；

3）算子状态不能由相同或不同算子的另一个子任务访问；

 

2、算子状态数据结构

1）列表状态（List  state）

      ****  将状态表示为一组数据的列表

2）联合列表状态（Union  list  state）

      **** 也将状态表示为数据的列表。它与常规列表状态的区别在于，在发生故障时，或者从保存点（savepoint）启动应用程序时如何恢复；

 3）广播状态（Broadcast  State）

       ****  如果一个算子有多项任务，而它的每项任务状态又都相同，那么这种特殊情况最适合应用广播状态；

 

3、键控状态（Keyed  State）

1）键控状态是根据输入数据流中定义的键（key）来维护和访问的；

2）Flink为每个key维护一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护和处理这个key对应的状态；

3）当任务处理一条数据时，它会自动将状态的访问范围限定为当前数据的key；

 

4、键控状态数据结构

1）值状态（Value  state）：将状态表示为单个的值；

2）列表状态（List state）：将状态表示为一组数据的列表；

3）映射状态（Map  state）：将状态表示为一组Key-Value对；

4）聚合状态（Reducing state & Aggregating  State）：将状态表示为一个用于聚合操作的列表；

 

5、键控状态的使用

1）声明一个键控状态

 

2）读取状态

3）对状态赋值

 

二、状态后端（State  Backends）

1）每传入一条数据，有状态的算子任务都会读取和更新状态；

2）由于有效的状态访问对于处理数据的低延迟至关重要，因此每个并行任务都会在本地维护其状态，以确保快速的状态访问；

3）状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就叫做状态后端（state  backend）;

4）状态后端主要负责两件事：本地的状态管理，以及将检查点（checkpoint）状态写入远程存储；

 

1、选择一个状态后端

1）MemoryStateBackend

      ****  内存级的状态后端，会将键控状态作为内存中的对象进行管理，将它们存储在TaskManager的JVM堆上，而将checkpoint存储在JobManager的内存中；

       ****  特点：快速、低延迟，但不稳定

2）FsStateBackend

        **** 将checkpoint存到远程的持久化文件系统（FileSystem）上，而对于本地状态，跟MemoryStateBackend一样，也会存在TaskManager的JVM堆上；

        ****  同时拥有内存级的本地访问速度，和更好的容错保证

3）RockDBStateBackend

        **** 将所有状态序列化后，存入本地的RocksDB中存储。