Flink State 使用的4点建议

一. Operator state 使用建议

慎重使用长 list

下图展示的是当前版本中 task 端 operator state 在执行完 checkpoint 返回给 job master 端的 StateMetaInfo 的代码片段。

 

由于 operator state 没有 key group 的概念，所以在修改任务并发度进行恢复时，需要将operator state中的每一个序列后的元素存储一个位置偏移量(offset)，如上图红框中的offsets数组所示。

另外如果你定义的operator state很大时，上面所说的offset数组的规则就可能达到数十MB，重要的是这个状态数组是会上报给job manager的，如果算子(operator)的并发数目很大，那么意味着该算子的多个并发任务都将上报数十MB的状态，这很容易导致job manager 发生OOM。

我们之前有同事用operator state存储某个业务的id-mapping数据，结果这个id-mapping数据的规模越来越大，后面导致一开始执行checkpoint, job manager就会因为收到task返回的超大的offset数组导致占用内存量越来越大，无法正常相应甚至OOM。

 

正确使用 UnionListState

union list state 目前被广泛使用在 kafka connector 中，不过可能用户日常开发中较少遇到，他的语义是从检查点恢复之后每个并发 task 内拿到的是原先所有operator 上的 stat