Spark性能调优系列：(四)开发调优（尽量避免使用shuffle类算子）

调优：尽量避免使用shuffle类算子

Spark作业运行过程中，最消耗性能的就是shuffle过程

shuffle过程：将分布在集群中多个节点的同一个key，拉取到同一个节点上进行聚合或join操作，比如reduceByKey、join等算子都会触发shuffle操作。

shuffle过程中

shuffle过程中，各个节点上的相同Key都会先写入本地磁盘文件中，然后其它节点需要通过网络传输拉取各个节点上磁盘文件中的相同key，而且相同key都拉取到同一个节点进行聚合操作时，还可能因为节点上处理的key过多，导致内存不够存放，进而溢写到磁盘文件中。
因此在shuffle过程中，可能会发生大量的磁盘文件读写的I/O操作，以及数据的传输操作，磁盘IO和网络数据传输也是shuffle性能较差的主要原因。

因此我们尽可能避免使用reduceByKey、join、distinct、repartition等会进行shuffle操作的算子，尽量使用map类的非shuffle算子，这样没有shuffle或较少的shuffle操作的Spark作业，可以大量减少性能开销。

Spark会进行shuffle操作的有以下算子

1.repartition类的操作：比如：repartition、repartitionAndSortWithinPartitions、coalesce等
2.byKey类的操作：比如reduceByKey、gr