通过debug来分析MapReduce的工作过程

通过观察map和reduce的工作过程来看,以map和reduce为例子,其中最核心和最重要的就是下面这句源码:
	

	//Mapper源码的 run方法
	
  while (context.nextKeyValue()) {
        map(context.getCurrentKey(), context.getCurrentValue(), context);
      }	

	//Reducer源码的 run方法	
	
  while (context.nextKey()) {
        reduce(context.getCurrentKey(), context.getValues(), context);
        // If a back up store is used, reset it
        Iterator<VALUEIN> iter = context.getValues().iterator();
        if(iter instanceof ReduceContext.ValueIterator) {
          ((ReduceContext.ValueIterator<VALUEIN>)iter).resetBackupStore();        
        }
      }

这表明: mapper类,每一行都会处理一次,并且这一行处理完毕后, 它会判断是否还有下一行。 这之中:

1. mapper只把一行中的数据进行拆分 , 每个单位的value只可能是1
2. mapper之后,我们可能得到很多很多,key相同的 <key,value> 单元

而,reducer类中,他把每个相同的key合并在一起

3. reduce 的处理对象是:每个<key value>单元
4. 如果key相同,这些相同key的工作单元合并为一个大的工作单元
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值