文章目录
概述
本文主要目的是记录MapReduce论文中的核心思想,方便个人和大家进行记录和查看。MapReduce同时也是MIT 6.824的必读论文之一,希望大家能看完本文后再进行Lec1的学习。
研究意义
MapReduce的研究意义是给复杂任务的分布式实现提供了一套简单、高效的编程框架。对于分布式系统的开发人员来说,只需要实现特定的Map和Reduce接口,就可以轻松的进行分布式计算,不用关心MapReduce下底层的实现细节和运行机制。
编程模型与系统实现
编程模型
Map
Map函数可以由用户进行自定义实现,其输入为(key,value)
键值对,输出为list(key, value)
键值对序列。文中把Map函数的输出称为中间变量,因为该变量并不会存储到分布式文件系统GFS
当中。在产生中间变量之后,MapReduce框架会将相同key
值的所有value
打包为list(value)
,作为后续Reduce函数的输入参数。
Reduce
Reduce函数也可以由用户进行自定义实现,其输入为(key, list(value))
键值对,输出为list(value)
, 其中key
和list(value)
均由Map函数生成。Reduce函数会对同一个key
下面的所有value
进行操作,产生出最后的结果list(value)
。
示例:统计文档中所有单词的出现次数
map(String key, String value):
// key: document name
// value: document contents
for each word w in value:
EmitIntermediate