Mapreduce文档总结

Mapredurce:

1. 思路： 从数据库开始引申。（例 子：统计车辆信息）。

2. Mapredurce： 分成两大部分： Map ( 并行分开统计 ) ， Redurce( 并行汇聚 )。 mapredurce 分成: Maptask和 RedurceTask, 二者之间属于 线性关系 ， 也就是map的输出 等于 redurce的 输入 ，另只有等map并行统计完毕，才 能进行redurce统计。

重点理解：

切片： 一个切片对应一个map程序, 在计算层提出了切片的逻辑描述，一个切 片描述的一个map要处理的文件的数据量的大小。例如：刚才所说的要处理的每一 条记录。 所以说切片是一个窗口机

制，不是一个物理机制，一个切片对应一 个map,其实就是告诉map你要处理的面向文件哪个范围的数据。

在计算机计算层， 切片（逻辑概 念,窗口机制） 的概念是： 这个map要处理一个文件数据量的大小（从哪里开始到哪 里结束）。默认一个切片对应一个块，切 片大小可以调整, 切片由数据特征决定。

计算过程： 切片以记录数为单位， 输出给map，然后map以 K， V 键值对 的形式输出(映射数据集，如：（"男",1），（"女" ,1）)，传输给redurce ,然后 redurce将计算结果累加输出， 相同的key

为一组，每个组中的数据调用一次 redurce方法。 以一条记录数为单位调用一次map方 法，而redurce会以组里面多条记录为输入。

切片会把输入的数据格式化成一条一条的 数据，以一条记录为单位调用一次map。

redurce中融入sort排序，会产生一 个内部有序，外部无序的文件，然后进行归并（相当当于会产生一次IO）, 然后再通过IO逐行读取，每读取一次调用一次 redurce，处理过程是出于阻塞状态，然后处理完再读取第二次，也就是相当于调 用一次IO就可以处理完所有的数据。

结论如下：map的数量由切片决定， recurce数量由人来决定。但是人会参考 map输出的组的数量。 进程的数量多，反而性能 下降。

实战项目：

字频统计, 去重， 父子级关系。