MapReduce论文精读


概述

本文主要目的是记录MapReduce论文中的核心思想,方便个人和大家进行记录和查看。MapReduce同时也是MIT 6.824的必读论文之一,希望大家能看完本文后再进行Lec1的学习。

研究意义

MapReduce的研究意义是给复杂任务的分布式实现提供了一套简单、高效的编程框架。对于分布式系统的开发人员来说,只需要实现特定的Map和Reduce接口,就可以轻松的进行分布式计算,不用关心MapReduce下底层的实现细节和运行机制。

编程模型与系统实现

编程模型

Map

Map函数可以由用户进行自定义实现,其输入为(key,value)键值对,输出为list(key, value)键值对序列。文中把Map函数的输出称为中间变量,因为该变量并不会存储到分布式文件系统GFS当中。在产生中间变量之后,MapReduce框架会将相同key值的所有value打包为list(value),作为后续Reduce函数的输入参数。

Reduce

Reduce函数也可以由用户进行自定义实现,其输入为(key, list(value))键值对,输出为list(value), 其中keylist(value)均由Map函数生成。Reduce函数会对同一个key下面的所有value进行操作,产生出最后的结果list(value)

示例:统计文档中所有单词的出现次数

map(String key, String value):
    // key: document name
    // value: document contents
    for each word w in value:
        EmitIntermediate(
  • 4
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值