Flink 的优化

Flink 的优化

配置进程参数

操作场景

Flink on YARN 模式下，有 JobManager 和 TaskManager 两种进程。在任务调 度和运行的过程中，JobManager 和 TaskManager 承担了很大的责任。 因而 JobManager 和 TaskManager 的参数配置对 Flink 应用的执行有着很大的 影响意义。用户可通过如下操作对 Flink 集群性能做优化。

操作步骤

（1）配置 JobManager 内存 JobManager 负责任务的调度，以及 TaskManager、RM 之间的消息通信。当 任务数变多，任务平行度增大时，JobManager 内存都需要相应增大。您可以根 据实际任务数量的多少，为 JobManager 设置一个合适的内存。

• 在使用 yarn-session 命令时，添加“-jm MEM”参数设置内存
• 在使用 yarn-cluster 命令时，添加“-yjm MEM”参数设置内存

（2）配置 TaskManager 个数 每个 TaskManager 每个核同时能跑一个 task，所以增加了 TaskManager 的个 数相当于增大了任务的并发度。在资源充足的情况下，可以相应增加 TaskManager 的个数，以提高运行效率。

• 在使用 yarn-session 命令时，添加“-n NUM”参数设置 TaskManager 个数。
• 在使用 yarn-cluster 命令时，添加“-yn NUM”参数设置 TaskManager 个数。

（3）配置 TaskManager Slot 数 每个 TaskManager 多个核同时能跑多个 task，相当于增大了任务的并发度。 但是由于所有核共用 TaskManager 的内存，所以要在内存和核数之间做好平衡。

• 在使用 yarn-session 命令时，添加“-s NUM”参数设置 SLOT 数。
• 在使用 yarn-cluster 命令时，添加“-ys NUM”参数设置 SLOT 数。

（4）配置 TaskManager 内存 TaskManager 的内存主要用于任务执行、通信等。当一个任务很大的时候， 可能需要较多资源，因而内存也可以做相应的增加。

• 将在使用 yarn-sesion 命令时，添加“-tm MEM”参数设置内存。
• 将在使用 yarn-cluster 命令时，添加“-ytm MEM”参数设置内存。

解决数据倾斜

场景描述

数据倾斜：由于数据分布不均匀，数据集中在某些 SubTask 上，导致部分 SubTask 处理数据量特别大，执行时间过长，影响了整个应用程序的执行效率。 过多的数据集中在某些 JVM（TaskManager），使得 JVM 的内存资源短缺，导致频繁 GC。严重情况下，过长的 GC 导致 TaskManager 失联，系统崩溃。

解决方式

1、数据源的消费不均匀
调整并发度。 对于数据源消费不均匀，比如 Kafka 数据源，通常是通过调整数据源算子的 并发度实现的。 通常情况下 Source 的并发度和 Kafka 的分区个数一样或者 Kafka 分区个数是 Source 并发度的正整数倍。
2、数据分布不均匀。
（1）通过添加随机前缀打散它们的分布，使得数据不会集中在几个 Task 中。
（2）调用分区方法 rebalance、rescale 操作，使数据分布均匀。
（3）自定义分区器。
（4）聚合统计前，先进行预聚合，例如两阶段聚合（加盐局部聚合+去盐全 局聚合）。