Flink 的优化

目录

产生数据倾斜的原因主要有 2 个方面：

因此解决问题的思路也很清晰： 

如何打散原来的key：

Flink是如何处理反压的？ :

---

产生数据倾斜的原因主要有 2 个方面：

 务上有严重的数据热点

技术上大量使用了 KeyBy、GroupBy 等操作，错误的使用了分组 Key，人为产生数据热点。

 

因此解决问题的思路也很清晰： 

业务上要尽量避免热点 key 的设计，成不同的区域，并进行单独处理； 

技术上出现热点时，要调整方案打散原来的 key，避免直接聚合；此外 Flink 还提供了大量的功能可以避免数据倾斜

如何打散原来的key：

​​​​​​​打散原来的key,可以加随机后缀，对打散的数据进行聚合，之后在下级进行二次keyby进行统计

Flink是如何处理反压的？ :

Flink 内部是基于 producer-consumer 模型来进行消息传递的，Flink的反压设计也是基于这个模型。Flink 使用了高效有界的分布式阻塞队列，就像 Java 通用的阻塞队列（BlockingQueue）一样。下游消费者消费变慢，上游就会受到阻塞。