Hadoop之MapReduce（实践篇）

1、MapReduce编程模型概述

MapReduce应用广泛的原因之一在于它的易用性。它提供了一个因高度抽象化而变得异常简单的编程模型。MapReduce是在总结大量应用的共同特点的基础上抽象出来的分布式计算框架，它适用的应用场景往往具有一个共同的特点：任务可被分解成相互独立的子问题。基于该特点，MapReduce编程模型给出了其分布式编程方法，共分5个步骤：

• 迭代（iteration）：遍历输入数据，并将之解析成key/value对；

• 将输入key/value对映射（map）成另外一些key/value对；

• 依据key对中间数据进行分组（grouping）;

• 以组为单位对数据进行规约（reduce）；

• 迭代。将最终产生的key/value对保存到输出文件中。

MapReduce将计算过程分解成以上5个步骤带来的最大好处是组件化和并行化。

为了实现MapReduce编程模型，Hadoop设计了一系列对外编程接口。从MapReduce自身的命名特点可以看出，MapReduce由两个阶段组成：Map阶段和Reduce阶段。用户只需要编写map()和reduce()两个方法，即可完成简单的分布式程序的设计实现。

map()方法以key/value对作为输入，产生另外一系列key/value对作为中间输出写入本地磁盘。MapReduce框架会自动将这些中间数据按照key值进行聚集，且key值相同（用户可以设定聚集策略，默认情况下是对key值进行哈希取模）的数据被统一交给reduce()方法处理。

reduce()方法以key及对应的value列表作为输入，经合并key相同的value值后，产生另外一系列key/value对作为最终输出写入HDFS。

2、MapReduce编程入门之”HelloWorld”

下面以MapReduce中的“helloworld”程序——WordCount为例介绍程序设计方法。

“hello world”程序是我们学习任何一门编程语言编写的第一个程序，它简单且易于理解，能够帮助我们快速入门。同样，分布式处理框架也有自己的“hello world”程序：WordCount。它完成的功能是统计输入文件中的每个单词出现的次数。

下面是本人自己编写的HelloWorld程序——MyWordCount。

MyWordCountMapper.java程序代码，如下图所示。因为MyWordCount是这篇文章的第一个程序，因此在这里就做详细的解释，后续的程序就只做简单的注释了。

MyWordCountReducer.java程序代码，如下图所示。

MyWordCountMain.java主程序代码，如下图所示。

编写完MapReduce程序后，按照一定的规则制定程序的输入和输出目录，并提交到Hadoop集群中。作业在Hadoop中的执行过程如下图所示。Hadoop将输入数据切分成若干个输入分片（input split），并将每个split交给一个Map Task处理；Map Task不断地从对应的split中解析出一个个key/value对，并调用map()方法进行处理，处理完之后根据Reduce Task个数将结果分成若干个分区（partition）写到本地磁盘；同时，每个Reduce Task从每个Map Task上读取属于自己的那个partition，然后使用基于排序的方法将key相同的数据聚集在一起，调用reduce()方法进行处理，并将最终结果输出到文件中。

下图为MyWordCount程序执行的过程。

MyWordCount程序在HDFS上执行的结果，如下图所示。

细心的你也许已经注意到，上面的程序还缺少三个基本组件，它们的功能分别是：1、指定输入文件格式。将输入数据切分成若干个split，且将每个split中的数据解析成一个个map()方法要求的key/value对；2、确定map()方法产生的每个key/value对发给哪个Reduce Task方法处理；3、指定输出文件格式，即每个key/value对以何种形式保存到输出文件中。

在Hadoop MapReduce中，这三个组件分别是InputFormat、Partitioner和OutputFormat，它们均需要用户根据自己的应用需求进行配置。而对于上面的WordCount程序实例，默认情况下Hadoop采用的默认实现正好可以满足要求，因而不必再提供。综合