Spark partition 理解 - coalesce 与 repartition的区别

一、spark 分区 partition 的理解

spark中是以vcore级别调度task的。

如果读取的是hdfs，那么有多少个block，就有多少个partition

举例来说：sparksql 要读表T, 如果表T有 1w 个小文件，那么就有 1w 个partition

这时候读取效率会较低。假设设置资源为 --executor-memory 2g --executor-cores 2 --num-executors 5 

步骤是拿出1-10号10个小文件（也就是10个partition）分别给5个executor读取（spark调度会以vcore为单位，
实际就是5个executor，10个task读10个partition）

如果5个executor执行速度相同，再拿11-20号文件 依次给这5个executor读取

而实际执行速度不会完全相同，那就是哪个task先执行完，哪个task领取下一个partition读取执行，以此类推。
这样往往读取文件的调度时间大于读取文件本身，而且会频繁打开关闭文件句柄，浪费较为宝贵的io资源，执行效率也大大降低。

二、coalesce 与 repartition的区别

repartition(numPartitions:Int):RDD[T] 和 coalesce(numPartitions:Int，shuffle:Boolean=false):RDD[T]  

repartition只是coalesce接口中shuffle为true的实现  

reparation是coalesce的特殊情况, reparation会将coalesce中的shuffle参数设置为true,会重新混洗分区,
如果原有分区数据不均匀可以用reparation来重新混洗分区,使数据均匀分布,重新混洗过的分区和新的分区时宽依赖的关系

coalesce shuffle参数为false的情况, 不会重新混洗分区, 它是合并分区, 比如把原来1000个分区合并成100个,
 父rdd和子rdd是窄依赖

我们还拿上面的例子说:

有1w的小文件，资源也为--executor-memory 2g --executor-cores 2 --num-executors 5  

repartition(4)：产生shuffle。这时会启动5个executor像之前介绍的那样依次读取1w个分区的文件，然后按照某个规则,
写到4个文件中，这样分区的4个文件基本毫无规律，比较均匀。

coalesce(4, false):这个coalesce不会产生shuffle。那启动5个executor在不发生shuffle的时候是如何生成4个文件呢，其实会
有1个或2个或3个甚至更多的executor在空跑（具体几个executor空跑与spark调度有关，与数据本地性有关，与spark集群负载有关）
，他并没有读取任何数据！

PS：

1.如果结果产生的文件数要比源RDD partition多，用coalesce(numParttions, false)是实现不了的，
  例如有4个小文件（4个partition），你要生成5个文件用coalesce实现不了，也就是说不产生shuffle，无法实现文件数变多。
  
2.如果你只有1个executor（1个core），源RDD partition有5个，你要用coalesce(2, false)产生2个文件。那么他是预分 
partition 到executor上的，
 例如0-2号分区在先executor上执行完毕，3-4号分区再次在同一个executor执行。
 其实都是同一个executor但是前后要串行读不同数据。与用repartition(2)在读partition上有较大不同
 （串行依次读0-4号partition 做shuffle处理）

三、实例

T表有10G数据  有100个partition 资源也为--executor-memory 2g --executor-cores 2 --num-executors 5。
我们想要结果文件只有一个  

1. 如果用coalesce: sql(select * from T).coalesce(1, false)
   5个executor 有4个在空跑，只有1个在真正读取数据执行，这时候效率是极低的。所以coalesce要慎用，而且它还会
   产生oom问题，这个我们以后再说。

2. 如果用repartition: sql(select * from T).repartition(1)
   这样效率就会高很多，并行5个executor在跑（10个task）, 然后shuffle到同一节点，最后写到一个文件中

四、总结

我们常认为coalesce不产生shuffle会比repartition 产生shuffle效率高，而实际情况往往要根据具体问题具体分析，coalesce效率
不一定高，有时还有大坑，大家要慎用。

假设RDD有N个分区，需要重新划分成M个分区: 

1、N < M: 一般情况下N个分区有数据分布不均匀的状况，利用HashPartitioner函数将数据重新分区为M个，这时需要将shuffle设置为true。
因为重分区前后相当于宽依赖，会发生shuffle过程，此时可以使用coalesce(shuffle=true)，或者直接使用repartition()。

2、如果N > M 并且N和M相差不多(假如N是1000，M是100): 那么就可以将N个分区中的若干个分区合并成一个新的分区，最终
合并为M个分区，
这时前后是窄依赖关系，可以使用coalesce(shuffle=false)。

3、如果 N > M 并且两者相差悬殊: 这时如果将shuffle设置为false，父子RDD是窄依赖关系，他们同处在一个 Stage 中，就
可能造成spark程序的并行度不够，从而影响性能，
如果在M为1的时候，为了使coalesce之前的操作有更好的并行度，可以将shuffle设置为true。

注意: 如果传入的参数大于现有的分区数目，而shuffle为false，RDD的分区数不变，也就是说不经过shuffle，是无法将RDD的分区数变多的。