从0到1Flink的成长之路(二十)-Flink 高级特性（二）之State 状态后端

最新推荐文章于 2024-08-12 11:30:17 发布

熊老二-

最新推荐文章于 2024-08-12 11:30:17 发布

阅读量229

点赞数 2

分类专栏： Flink 文章标签：大数据 flink

本文链接：https://blog.csdn.net/weixin_51329630/article/details/118344471

版权

本文深入探讨了Flink的状态后端，包括MemStateBackend、FsStateBackend和RocksDBStateBackend。MemStateBackend适用于本地测试和几乎无状态作业，FsStateBackend适合常规状态作业和开启HA的场景，而RocksDBStateBackend则适用于超大状态作业，尤其在需要高持久性和增量Checkpoint的情况下。

摘要由CSDN通过智能技术生成

State 状态后端

注意：前面学习Checkpoint其实就是Flink中某一时刻，所有的Operator的全局快照，那么快照应该要有一个地方进行存储，而这个存储的地方叫做状态后端（StateBackend）。
Flink中的State状态后端有很多种：
在这里插入图片描述
state_backends
1）、MemStateBackend
内存存储，即MemoryStateBackend，构造方法是设置最大的StateSize，选择是否做异步快照。

对于State存储在 TaskManager 节点也就是执行节点内存中的，因为内存有容量限制，所以单个 State maxStateSize 默认 5 M，需要注意 maxStateSize <= akka.framesize 默认 10M。
对于Checkpoint 存储在 JobManager 内存中，因此总大小不超过 JobManager 的内存。
推荐使用的场景为：本地测试、几乎无状态的作业，比如 ETL、JobManage