- 博客(1)
- 收藏
- 关注
原创 Flink大状态优化笔记
一、问题表现 1、taskmanager不断重启。 2、吞吐量不断下降,数据堆积,checkpoint失败 二、解决: 1、由于我们是程序开发,自定义状态,所以首先考虑优化中间结构,将原有MapState中的多个值,简化key及value,state减少了1/3,后自定义对象pojo实现序列化接口,方便存取。状态也减少了一些,但是效果不大。 2、开启增量(怎么忘记了这个!) new RocksDBStateBackend(checkpointUrl, true) 3、做完上面两步后,taskmanager就
2021-02-01 11:10:35 729
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人