Hadoop的shuffle与spark的区别

Hadoop的shuffle

1.maptask执行，outputcollect收集maptask的输出数据，将数据写入环形缓冲区中，记录起始偏移量(split)
2.环形缓冲区默认大小为100M，当数据达到80M时，记录终止偏移量。
3.启动spiller溢出器，将数据进行分区（默认分组根据key的hash值%reduce数量进行分区），分区内进行快速排序
4.分区，排序结束后，将数据刷写到磁盘（这个过程中，maptask输出的数据写入剩余20%环形缓冲区，同样需要记录起始偏移量）
5.maptask将形成的多个小文件做归并排序合并成一个大文件
6.当有一个maptask执行完成后，appMaster申请资源，启动reducetask
7.reducetask到运行完成maptask的机器上拉取属于自己分区的数据
8.reducetask将拉取过来的数据进行merge操作，归并排序数据，将数据按相同key“分组”，每组数据调用一次reduce（）方法
9.执行reduce逻辑，将结果输出到文件

具体理解上我觉得这张图更加简单明了：