思路:主要是调整分区数量、缓冲的大小、拉取次数重试重试次数与等待时间、内存比例分配、是否进行排序操作等等...
spark.sql.shuffle.partitions
参数说明:SQL 语句中的 group by、join、distinct、partition by 都会触发 shuffle,当在 SparkSQL 中的 Job 中产生 Shuffle 时,默认的分区数 spark.sql.shuffle.partitions = 200,而在实际项目中要合理设置,可以适当降低,建议为申请核数的 2 ~ 3 倍。
对 SparkSQL 中的 Job 中产生 Shuffle 的调优,有 2 种方式:
- 既可以在创建 SparkSession 时中设置
spark=SparkSession.builder.appName('test').master('local[*]').config('spark.sql.shuffle.