map任务中,merge过程的实现方法

大写的FS表示“分布式文件系统”

map任务中,merge的实现方法

首先,在map任务产生的所有中间文件(即IFile格式文件)中,选择文件大小最小的io.sort.factor(即源代码中的factor变量)个文件,然后将代表这些文件的Segment实例化对象各自作为一个节点,建成一个“小顶堆”。而对这个小顶堆中各个节点排序的比较方法,实际上就是在比较各个Segment第一个键值对的大小。Segment的键值对是在其next方法中更新的。由于每个Segment内部就是按从小到大顺序排列的,故这个merge的过程,其实就是 多路有序队列归并的过程,并且在归并过程中使用的 排序方法就是“堆排序”方法,每次 “堆排序”的过程体现在将“Segments堆”建成“小顶堆”的过程

总结如下:
1)将代表IFile格式文件的factor个Segments组成一个“小顶堆”;
2)从Segment所组成的“小顶堆”中选择出“堆顶”,对这个“堆顶”求getKey和getValue就是选中的键值对,将该键值对输出到输出文件中;
3)更新由Segment所组成的堆,使其再次成为一个“小顶堆”;
4)重复2)~3),直到所有的键值对输出到输出文件中。
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值