Spark Shuffle（基础）过程

最新推荐文章于 2022-07-02 11:19:55 发布

小学僧丶Monk

最新推荐文章于 2022-07-02 11:19:55 发布

阅读量234

点赞数

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/momo898821/article/details/105122085

版权

本文介绍了Spark Shuffle的基础知识，包括其发展历史，从Hash Based Shuffle V1、V2到BypassMergeSortShuffleWriter、UnsafeShuffleWriter和SortShuffleWriter的演变。详细阐述了各种Shuffle方式的工作原理，如内存缓冲、磁盘文件生成、数据排序和网络IO，并讨论了相关参数及其优化策略。

摘要由CSDN通过智能技术生成

介绍

Shuffle过程是进行数据的重组和排序，这是一个非常消耗资源的过程，包括磁盘IO、数据序列化和反序列化、网络IO。在Spark中Shuffle定义为一系列map任务和reduce任务，map任务负责组织数据，通常称为Shuffle Write，reduce任务负责聚合统计数据，通常称为Shuffle Read。
Spark Shuffle行为和Hadoop MapReduce中Shuffle过程基本一致，Map端为Shuffle提供数据，Reduce端负责接收Shuffle生成的数据。用户提交的Spark程序会被解析成DAG图，根据RDD依赖关系划分成多个Stage，Shuffle就发生在Stage之间。

Shuffle方式的发展史

Spark 1.1版本和以前版本默认是Hash Based Shuffle
Spark1.2 版本默认是Sort Based Shuffle
Spark2.0 版本废弃Hash Based Shuffle
Spark 2.1 版本三种Shuffle Writer：BypassMergeSortShuffleWriter、SortShuffleWriter、UnsafeShuffleWriter

Hash Based Shuffle V1

Hash Shuffle最初版本中，按照Hash方式进行分区，每一个map任务会产生reduce个数的临时文件，最终会生成map x reduce个临时文件，因此大量临时文件为CPU和磁盘带来了巨大的消耗，称为了计算的瓶颈。
Task运行过程：
Shuffle Write：在map任务中按照数据key取hash值，并对red