Spark性能调优-----常规性能调优（三）并行度调节

Spark作业中的并行度指各个stage的task的数量。

关于task数量和stage数量的计算我在下边放一张图
便于理解

stage的数量等于该job的宽依赖（shuffle）的次数加1

一个线程对应一个task，一个task执行的时候对应的一个分区，task只会在stage范围内执行，一个stage中会生成一到多个task，stage执行的时候是有顺序的，这样才能保证task的顺序性，
！！！！重点
如果没有手动更改分区的情况下，
task的数量 = stage的数量 * 分区数

如果并行度设置不合理而导致并行度过低，会导致资源的极大浪费，例如，20个Executor，每个Executor分配3个CPU core，而Spark作业有40个task，这样每个Executor分配到的task个数是2个，这就使得每个Executor有一个CPU core空闲，导致资源的浪费。

理想的并行度设置，应该是让并行度与资源相匹配，简单来说就是在资源允许的前提下，并行度要设置的尽可能大，达到可以充分利用集群资源。合理的设置并行度，可以提升整个Spark作业的性能和运行速度。

Spark官方推荐，task数量应该设置为Spark作业总CPU core数量的2~3倍。之所以没有推荐task数量与CPU core总数相等，是因为task的执行时间不同，有的task执行速度快而有的task执行速度慢，如果task数量与CPU core总数相等，那么执行快的task执行完成后，会出现CPU core空闲的情况。如果task数量设置为CPU core总数的2~3倍，那么一个task执行完毕后，CPU core会立刻执行下一个task，降低了资源的浪费，同时提升了Spark作业运行的效率。

Spark作业并行度的设置如代码清单2-2所示：

                      代码清单2-2 Spark作业并行度设置

 val conf = new SparkConf()
  .set("spark.default.parallelism", "500")