![](https://img-blog.csdnimg.cn/direct/7abed1f73df84e0489a1a781303a7f13.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink问题解决及性能调优
文章平均质量分 87
Flink问题解决及性能调优
PONY LEE
运动不息,生命不止!
展开
-
Flink问题解决及性能调优-【Flink rocksDB读写state大对象导致背压问题调优】
RocksDB是Flink中用于持久化状态的默认后端,它提供了高性能和可靠的状态存储。然而,当处理大型状态并频繁读写时,可能会导致背压问题,因为RocksDB需要从磁盘读取和写入数据,而这可能成为瓶颈。原创 2024-01-29 21:31:29 · 1430 阅读 · 0 评论 -
FlinkSQL【分组聚合-多维分析-性能调优】应用实例分析
是否开启【MiniBatch 聚合】和【Local-Global 聚合】对分组聚合场景影响巨大,尤其是在数据量大的场景下原创 2024-01-16 10:51:32 · 674 阅读 · 0 评论 -
Flink问题解决及性能调优-【Flink根据不同场景状态后端使用调优】
Flink 实时groupby聚合场景操作时,由于使用的是rocksdb状态后端,发现CPU的高负载卡在rocksdb的读写上,导致上游算子背压特别大。通过调优使用hashmap状态后端代替rocksdb状态后端,使吞吐量有了质的飞跃(20倍的性能提升),并分析整理。原创 2024-01-26 11:53:33 · 1294 阅读 · 0 评论 -
Flink问题解决及性能调优-【Flink不同并行度引起sink2es报错问题】
最近需求,仅想提高sink2es的qps,所以仅调节了sink2es的并行度,但在调节不同算子并行度时遇到一些问题,找出问题的根本原因解决问题,并分析整理。原创 2024-01-25 23:09:23 · 1344 阅读 · 1 评论