MapReduce的Shuffle过程

  1. Map方法之后,Reduce方法之前这段处理过程叫shuffle
  2. Map方法之后,数据首先进入分区方法,把数据标记好分区,然后通过Context.write(k,v)将数据写入环形缓冲区。环形缓冲区大小100m,当写入的数据量达到环形缓冲区的80%时,进行溢写。溢写前对数据进行分区内,按key的索引进行字典顺序排序。排序的方法为快速排序。溢写产生大量溢写文件,对溢写文件进行归并排序。对溢写文件也可以进行Combiner操作,前提是汇总操作,求平均值不行。最后将文件按照分区存储到磁盘,等待Reduce端拉取。
  3. 每个Reduce拉取Map端对应分区的数据,拉取数据首先拉取到内存,内存不够了再存储到磁盘。拉取完所有数据后,采用归并排序将内存和磁盘中的数据都进行排序。在进行入Reduce方法之前,对数据进行分组。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值