使用 python 构建基于 hadoop 的 mapreduce的实操

MapReduce编程模型概述

MapReduce应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。MapReduce是在总结大量应用的共同特点的基础上抽象出来的分布式计算框架，它适用的应用场景往往具有一个共同的特点：任务可被分解成相互独立的子问题。基于该特点，MapReduce编程模型给出了其分布式编程方法，共分5个步骤：

• 迭代（iteration）：遍历输入数据，并将之解析成key/value对；

• 将输入key/value对映射（map）成另外一些key/value对；

• 依据key对中间数据进行分组（grouping）;

• 以组为单位对数据进行规约（reduce）；

• 迭代。将最终产生的key/value对保存到输出文件中。

MapReduce将计算过程分解成以上5个步骤带来的最大好处是组件化和并行化。

为了实现MapReduce编程模型，Hadoop设计了一系列对外编程接口。从MapReduce自身的命名特点可以看出，MapReduce由两个阶段组成：Map阶段和Reduce阶段。用户只需要编写map()和reduce()两个方法，即可完成简单的分布式程序的设计实现。

map()方法以key/value对作为输入，产生另外一系列key/value对作为中间输出写入本地磁盘。MapReduce框架会自动将这些中间数据按照key值进行聚集，且key值相同（用户可以设定聚集策略，默认情况下是对key值进行哈希取模）的数据被统一交给reduce()方法处理。

reduce()方法以key及对应的value列表作为输入，经合并key相同的value值后，产生另外一系列key/value对作为最终输出写入HDFS。