在sparksql 中设置 shuffle 1000想实现reparation算子的效果,但实际没有效果
set spark.sql.shuffle.partitions=1000;//设置shuffle task数量
set spark.default.parallelism=1000;//设置每个stage的默认task数量
后面查询后,发现要同时关闭动态分区
set spark.sql.adaptive.enabled=false;
在sparksql 中设置 shuffle 1000想实现reparation算子的效果,但实际没有效果
set spark.sql.shuffle.partitions=1000;//设置shuffle task数量
set spark.default.parallelism=1000;//设置每个stage的默认task数量
后面查询后,发现要同时关闭动态分区
set spark.sql.adaptive.enabled=false;