Hadoop中的shuffle过程

最新推荐文章于 2024-08-01 08:57:51 发布

景岁

最新推荐文章于 2024-08-01 08:57:51 发布

阅读量1.4k

点赞数

分类专栏： Hadoop 文章标签： hadoop shuffle

本文链接：https://blog.csdn.net/nianyl/article/details/45218487

版权

Hadoop的shuffle过程中，Map阶段的spill文件经过归并排序形成分区排序的最终文件。Reduce阶段，中间文件被拷贝到本地，通过Segment类封装并进行内存与硬盘的归并。整个shuffle过程中，数据先按segment排序，再通过小根堆取出最小键值的记录交给reduce处理，保证了排序的正确性。Partitioner控制不同reduce的输出排序。

摘要由CSDN通过智能技术生成

1. 根据官方图片可以看出，Map spill是分区排序的，多个spill文件会做一个归并排序，形成一个唯一的分区排序的最终文件。这里的归并排序调用的是Merge类的merge方法，注意hadoop的归并和排序不是两个分开的过程，而是一个过程，在归并的同时进行了排序。

2. reduce过程会把这些由map输出的中间文件拷贝到本地，然后生成一个或者几个Segment类的实例（官方图reduce端中左起第一部分应该就是这些segment），以下我们称这些实例为segment。Segment类封装了这些中间数据，并且提供了一些针对这些中间数据的操作，比如读取记录等。在reduce端，这些中间数据可以存在内存中，也可以存在硬盘中。同时，系统还会启动两个merge（归并）线程，一个是针对内存中的segment进行归并，一个是针对硬盘中的segment进行归并（官方图reduce端中左起第二部分应该就是归并后的segment，从后面可以看到是以小根堆的形式）。merge过程实际上就是调用了Merge类的merge方法。

3. 针对segment排序的过程是以segment为单位的，而不是以segment中存储的记录（record）为单位的。而这里排序过程中对两个segment对象的比较是对segment中存储的第一个记录的键的比较。现在，我们已经得到了一个以segment为单位，以segment中第一个记录的键为比较依据的小根堆，至此在系统中所谓的sort阶段就已经结束了