Flink

Flink状态管理和容错机制

状态管理

flink的状态是什么？

1. 由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态（例如：map，flatmap就没有状态管理，每条数据可以直接执行，不依赖于其他任何数据）
2. 状态存放在内存中，可以认为就是一个本地变量，可以被任务的业务逻辑访问
3. Flink会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑

算子状态

• 特点
  a、作用范围：限定为每一个算子任务，同一个并行的任务所处理的所有数据均可以访问相同的状态
  b、状态对于同一个算子任务是共享的
  c、算子状态不能由相同或者不同的算子的任务访问
• 数据结构
  a、列表状态(List state)
  将状态表示为一组数据的列表
  b、联合列表状态(Union list state)
  也将状态表示为数据的列表。它与常规列表状态的区别在于，在发生故障时，或者从保存点(savepoint) 启动应用程序时如何恢复
  c、广播状态(Broadcast state)
  如果一个算子有多项任务，而它的每项任务状态又都相同，那么这种特殊情况最适合应用广播状态。

键控状态

• 特点
  a、键控状态是根据输入数据流中定义的键(key) 来维护和访问的
  b、Flink为每个key维护一个状态实例，并将具有相同键的所有数据，都分区到同一个算子任务中，这个任务会维护和处理这个key对应的状态
  c、当任务处理一条数据时， 它会自动将状态的访问范围限定为当前数据的key
• 数据结构
  a、值状态(Value state)
  将状态表示为单个的值
  b、列表状态(List state)
  将状态表示为一组数据的列表
  c、映射状态(Map state)
  将状态表示为一-组Key-Value对
  d、聚合状态(Reducing state & Aggregating State)
  将状态表示为一个用于聚合操作的列表

状态后端

• 每传入一条数据，有状态的算子任务都会读取和更新状态
• 由于有效的状态访问对于处理数据的低延迟至关重要，因此每个并行任务都会在本地维护其状态，以确保快速的状态访问
• 状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就叫做状态后端(state backend)
• 状态后端主要负责两件事：本地的状态管理，以及将检查点（checkpoint）状态写入远程存储

状态后端的选择

• MemoryStateBackend：内存级的状态后端，会将键控状态作为内存中的对象进行管理，将他们存储在TaskManager的JVM堆上，而将checkpoint存储在JobManager的内存中。
  特点：快速，低延迟，但不稳定
• FsStateBackend：持久化文件系统（FileSystem）的状态后端，对本地状态，和MemoryStateBackend一样，同时拥有内存级的本地访问速度，更好的容错保证
• RocksDBStateBackend：将所有状态序列化后，存在本地的RocksDB中