Flink问题解决及性能调优-【Flink rocksDB读写state大对象导致背压问题调优】

RocksDB是Flink中用于持久化状态的默认后端，它提供了高性能和可靠的状态存储。然而，当处理大型状态并频繁读写时，可能会导致背压问题，因为RocksDB需要从磁盘读取和写入数据，而这可能成为瓶颈。

遇到的问题

Flink开发中遇到读写state大对象的问题，Flink webUI 火焰图表现如下：
从图上看，瓶颈卡在序列化与反序列化，结合业务逻辑代码，业务涉及state大对象的读写，并且是ValueState。

问题分析

如上，作为初学者来说，如果要在键值状态中存储Map<K, V>数据结构的状态，可能会认为使用ValueState<HashMap<K, V>>或者使用MapState<K, V>都是可行的。

如果我们选择使用HashMap状态后端，那么两种方式的性能上不会有很大差异，但是如果我们选择使用RocksDB状态后端，则推荐使用MapState<K, V>，避免使用ValueState<HashMap<K, V>>。

• 因为ValueState<HashMap<K, V>>在将数据写入RocksDB时，是将一整个HashMap<K, V>序列化为字节数组之后写入的。
• 同样，在读取时，也是先读取到字节数组，然后反序列化为一整个HashMap<K, V>后，再给用户使用。

所以每次访问和更新ValueState时，实际上都是对HashMap<K, V>这个集合类的大对象做序列化以及反序列化（如上图所示），而这是一个及其耗费资源的过程，很容易就会导致Flink作业产生性能瓶颈，所以极不推荐在ValueState中存储大对象。

问