Map端分区
coalesce()方法的参数shuffle默认设置为false,repartition()方法就是coalesce()方法shuffle为true的情况。
假设RDD有N个分区,需要重新划分成M个分区:
1. N < M: 一般情况下N个分区有数据分布不均匀的状况,利用HashPartitioner函数将数据重新分区为M个,这时需要将shuffle设置为true。因为重分区前后相当于宽依赖,会发生shuffle过程,此时可以使用coalesce(shuffle=true),或者直接使用repartition()。
2. 如果N > M并且N和M相差不多(假如N是1000,M是100): 那么就可以将N个分区中的若干个分区合并成一个新的分区,最终合并为M个分区,这是前后是窄依赖关系,可以使用coalesce(shuffle=false)。
3. 如果 N> M并且两者相差悬殊: 这时如果将shuffle设置为false,父子RDD是窄依赖关系,他们同处在一个Stage中,就可能造成spark程序的并行度不够,从而影响性能,如果在M为1的时候,为了使coalesce之前的操作有更好的并行度,可以将shuffle设置为true。
总结:如果传入的参数大于现有的分区数目,而shuffle为false,RDD的分区数不变,也就是说不经过shuffle,是无法将RDDde分区数变多的。
Reduce端分区
1. 修改配置 spark.default.parallelism,该配置设定所有 Reduce 端的分区数,会对所有 Shuffle 过程生效
2. 直接在算子中将分区数作为参数传入,绝大多数算子都有分区数参数的重载版本,如 groupByKey(600)
提高shuffle性能
1. spark.shuffle.file.buffer
Map 端输出的中间结果的缓冲区大小,默认 32K
2. spark.reducer.maxSizeInFlight**
Map 端输出的中间结果的文件大小,默认为 48M,内存够大的情况下可以提高该参数,可以提升Shuffle Read
3. spark.shuffle.compress**
Map 端输出是否开启压缩,默认开启。缓冲区当然越大,写入性能越高,所以有条件可以增大缓冲区大小,可以提升 Shuffle Write