介绍
Shuffle过程是进行数据的重组和排序,这是一个非常消耗资源的过程,包括磁盘IO、数据序列化和反序列化、网络IO。在Spark中Shuffle定义为一系列map任务和reduce任务,map任务负责组织数据,通常称为Shuffle Write,reduce任务负责聚合统计数据,通常称为Shuffle Read。
Spark Shuffle行为和Hadoop MapReduce中Shuffle过程基本一致,Map端为Shuffle提供数据,Reduce端负责接收Shuffle生成的数据。用户提交的Spark程序会被解析成DAG图,根据RDD依赖关系划分成多个Stage,Shuffle就发生在Stage之间。
Shuffle方式的发展史
Spark 1.1版本和以前版本默认是Hash Based Shuffle
Spark1.2 版本默认是Sort Based Shuffle
Spark2.0 版本废弃Hash Based Shuffle
Spark 2.1 版本三种Shuffle Writer:BypassMergeSortShuffleWriter、SortShuffleWriter、UnsafeShuffleWriter
Hash Based Shuffle V1
Hash Shuffle最初版本中,按照Hash方式进行分区,每一个map任务会产生reduce个数的临时文件,最终会生成map x reduce个临时文件,因此大量临时文件为CPU和磁盘带来了巨大的消耗,称为了计算的瓶颈。
Task运行过程:
Shuffle Write:在map任务中按照数据key取hash值,并对red