MapReduce中源码分析(map端及reduce端的过程)

本文深入分析MapReduce的源码,重点探讨map端和reduce端的工作流程。map端通过计算得到单词相对于文章的偏移量作为key,输出(key, value)对。reduce端则从map端拉取数据,执行shuffle过程,即将数据拷贝到reduce端进行处理。整个过程中,map完成计算向数据移动,reduce实现数据向计算移动。" 51373833,5113685,iOS项目中使用Asset Catalog实现九宫格切图,"['iOS开发', 'UI设计', 'Asset Catalog', 'UIImageView', 'UIButton']
摘要由CSDN通过智能技术生成

MapReduce中的源码分析:

map端的源码分析:

MapReduce阶段,map中key面向文章的偏移量=上一行面向文章的偏移量+本行相对于上一行的偏移量+本单词相对于本行的偏移量。

这个key为本单词相对于文章的偏移量

这个是MapReduce中map的输出,调用context的write方法,前边对应的是key,后边对应的是value的值。

在方法被调用的时候,方法中参数的传递有两种:值传递和应用传递

应用传递,传递的是地址

 以上这种是值传递,外部的值不会跟着内部的值的变化而变化的

int a=3;
    {
    a=5
    }
a=3
//方法的实现体中对a进行重新赋值
//外部的a=3不会随着内部a=5的变化而变化的

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值