Flink状态后端-Memory/Fs/RockDB

三大状态后端

Flink 提供了三种可用的状态后端：MemoryStateBackend，FsStateBackend，和RocksDBStateBackend。

1. MemoryStateBackend

        MemoryStateBackend 是将状态维护在 Java 堆上的一个内部状态后端。键值状态和窗口算子使用哈希表来存储数据值和定时器。当应用程序 checkpoint 时，状态后端会在将状态发给 JobManager 之前对状态进行快照，JobManager 会将状态存储在 Java 堆上。默认情况下，MemoryStateBackend 会配置成支持异步快照。异步快照可以避免阻塞数据流的处理，从而避免反压的发生。

使用 MemoryStateBackend 时的注意点：

• 默认情况下，每一个状态最大为 5 MB。可以通过 MemoryStateBackend 的构造函数增加最大大小。
• 状态大小受到 Akka 帧大小的限制，所以无论在配置中怎么配置状态大小，都不能大于 Akka 的帧大小。
• 状态的总大小不能超过 JobManager 的内存。

什么时候使用 MemoryStateBackend：

• 本地开发或调试时建议使用 MemoryStateBackend，因为这种场景的状态大小的是有限的。
• MemoryStateBackend 非常适合状态比较小的用例和流处理程序。例如一次仅一条记录的函数（Map, FlatMap，或 Filter）或者 Kafka consumer。

2. FsStateBackend

       FsStateBackend 配置需要文件系统的 URL（类型，地址，路径）等来配置。举个例子，比如可以是：

• hdfs://namenode:4001