编写MapReduce程序

MapReduce就是一系列键值变换

一个完整的MapReduce作业，涉及三个要素：Mapper、Reducer的Driver，可以将处理过程描述成

{K1,V1} -> {K2,List<V2>} ->{K3,V3}

MapReduce Java API的Mapper基类以键值数据作为输入输出类型，其map()方法以输入的键值对作为参数。而用户只需编写处理单条记录的Mapper类，框架会负责将大数据集转化成键值对流的所有工作，因为MapReduce通过InputFormat和OutputFormat类提供了普通文件格式的实现，除特殊文件类型外，无须编写文件解析器。

在编写MapReduce程序的时候，每个Mapper仅仅输出一系列单个的键值对，它们通过shuffle方法才组合成键以及与之关联的值列表，作为reduce()方法的输入，因此map()和reduce方法之间有一个过程。如果是不太复杂的作业，可以把Mapper和Reducer类作为驱动程序的内置类，以简化代码部署。

实现WordCount

上面程序中的Mapper类，键K1即Object并没有得到实际使用。该作业会将TextInputFormat作为输入数据的格式，经过这种格式处理后，提供给Mapper的数据中，键指的是文件中的行号，值就是该行内容。对于输入源中的每行文本，mapper都会执行一次，每次会切分一行内容，然后使用Context对象以<word,1>的格式输出每个新的键/值，即K2/