关于spark shuffle过程的理解

shuffle过程：由ShuffleManager负责，计算引擎HashShuffleManager（Spark 1.2）—>SortShuffleManager

spark根据shuffle类算子进行stage的划分，当执行某个shuffle类算子（reduceByKey、join）时，算子之前的代码被划分为一个stage，之后的代码被划分为下一个stage。当前stage开始执行时，它的每个task会从上一个stage的task坐在的节点通过网络拉取所需的数据

HashShuffleManager运行原理

未经优化的HashShuffleManager

shuffle write：

1. stage结束之后，每个task处理的数据按key进行“分类”
2. 数据先写入内存缓冲区
3. 缓冲区满，溢出到磁盘文件
4. 最终，相同key被写入同一个磁盘文件

创建的磁盘文件数量 = 当前stagetask数量 * 下一个stage的task数量

shuffle read：

1. 从上游stage的所有task节点上拉取属于自己的磁盘文件
2. 每个read task会有自己的buffer缓冲，每次只能拉取与buffer缓冲相同大小的数据&#x