Spark[四]——Spark并行度

Spark[四]——Spark并行度

        Spark并行度指在Spark作业中，各个Stage中task的数量，也就代表了Spark作业在各个阶段的并行度。
合理设置并行度可以从以下几个方面考虑：

• 1.充分利用任务资源，即并行度略高于分配给CPU资源数( = num-Executors * 每个Executor使用的core)；
• 2.平均每个Partition的大小不要过于小，一般在百兆左右最合适；
• 3.根据实际机器分配给任务的资源和任务需要计算的数据量大小，再结合上面两点进行权衡设置。

    1.官方推荐：task数量，设置成Spark Application总CPU core数量的2~3倍，同时尽量提升Spark运行效率和速度；
    2.spark.default.paralleism默认是没有值的，如果设置了值，比如10，是在Shuffle中才会起作用。如：val rdd1 = rdd2.reduceByKey(_ + )，rdd2的分区数为10，rdd1的分区数不受这个参数影响；
    3.如果读取的数据在HDFS上，增加block数，默认情况下split与block是一对一的，而split又与RDD中的Partition对应，所以增加了block数，也就提高了并行度；
    4.reduceByKey的算子指定Partition的数量；如val rdd2 = rdd1.reduceByKey( + _, 10)；
    5.val rdd3 = rdd1.join(rdd2)，rdd3里Partition的数量由父rdd中最多的Partition数量决定，因此使用join算子时，应增加父rdd中的Partition数量；
    6.设置spark.sql.shuffle.partition，配置Spark SQL中shuffle过程中Partition的数量。