MapReduce理解-深入理解MapReduce

MapReduce理解

MapRedeuce，我们可以把它分开来理解：
1.映射（Mapping） ：对集合里的每个目标应用同一个操作。即，如果你想把表单里每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping（这里体现了移动计算而不是移动数据）；
2.化简（Reducing）：遍历集合中的元素来返回一个综合的结果。即，输出表单里一列数字的和这个任务属于reducing。
计算框架

简单理解，MapReduce计算框架：

把需要计算的东西放入到MapReduce中进行计算，然后返回一个我们期望的结果。所以首先我们需要一个来源（需要计算的东西）即输入（input），然后MapReduce操作这个输入（input），通过定义好的计算模型，最后得到一个（期望的结果）输出（output）。

计算模型

在这里我们主要讨论的是MapReduce计算模型：

在运行一个mapreduce计算任务时候，任务过程被分为两个阶段：map阶段和reduce阶段，每个阶段