Spark调优之Shuffle调优 合并map端输出文件

解决方法：

SparkConf conf = new SparkConf ().set("spark.shuffle.consolidateFiles", "true");

开启shuffle map端输出文件合并机制。默认情况下，不开启。不开启的话，会发生如下图及描述的严重情况：map端输出大量文件，严重影响性能。

未开启map端输出文件合并机制的shuffle作业：

下图的前置条件：每个executor有2个cpu core，有4个task。（task是线程执行的，所以是先并行跑2个task，再跑剩下2个task）。

• stage0的每一个task都会给stage1的每个task创建一份map端的输出文件。
• stage1的每一个task会到各个节点上，去拉取stage0的每个task输出的属于自己那份文件。
  

未开启map端输出文件合并机制，每一个task都会创建出和下一个stage的task相同数量的文件。
而shuffle中写磁盘操作是shuffle中最消耗性能的部分。所以每一个task都创建文件的话，在大规模集群下，创建的文件会多到恐怖。

比如：实际生产环境中，集群有100个节点