《Hadoop权威指南》第二章关于MapReduce

MapReduce适合处理半结构化和非结构化数据。

2.3使用Hadoop来分析数据

2.3.1map和reduce

mapreduce任务分为两个处理阶段：map阶段和reduce阶段。我们用的时候需要写map函数和reduce函数，处理的数据类型是简直对，具体的数据类型有我们自行决定。

map函数的输入的key是行数的偏移量。value是每一行数据。

在经过map函数的加工处理，提取所需数据后，组成新的键值对输入给reduce函数。下图是MapReduce处理天气数据的流程图。

2.3.2Java MapReduce

第一部分：map实现Mapper接口，后者声明了一个map（）虚方法。Mappper接口是一个泛型类型，有四个形参类型，分别指定map函数的输入键，输出值，输出键和输出值的类型。这些类型参数是Hadoop自定义的，是一套可优化网络序列化传输的基本类型。map通过context.write输入参数给reduce函数。

第二部分：reduce实现Reducer接口，此接口与Mapper函数类似。

第三部分：负责运行MapReduce作业。包括，定义job，设置输入输出文件，设置map和reduce类，设置输入输出类型。

2.4横向扩展

2.4.1数据流

有两类节点控制着作业执行过程：一个jobtracker及一系列tasktracker。jobtracker通过调度一系列tasktracker。

Hadoop将MapReduce的输入数据划分成等长的小数据块，成为分片，为每个分片构建一个map任务。分片的默认大小是64MB。由于HDFS数据块的三个节点可能正在运行其他map任务。此时需要在三个备份的某个数据寻求同个机架中空闲的机器来运行任务，只有在非常偶然的情况下，会使用其他机架中的机器运行。

map的输出存放在本地硬盘，原因是map的输出结果是中间结果。

当有多个reduce函数时，每个map任务会针对输出进行分区。map和reduce之间的数据流称为shuffle（混洗）

2.4.2combiner函数

集群上的带宽限制了MapReduce作业的数量，因此要尽量避免map和reduce函数之间的数据传输。

其实combiner函数就是reduce，只不过运行在map所在的机器，这样就减少了map和reduce的数据传输的数量，有利于减少对带宽的占用。