MapReduce的初步理解

MapReduce 是什么？

MapReduce 是一个 软件框架，可以采用并行、分布式处理GB、TB，甚至PB级的大数据集，同时它也是一个在商用服务器集群之上完成大规模数据处理的执行框架。

MapReduce 是一种 编程范式，可以利用集群环境的成百上千台服务器实现强大的可伸缩性。

上图给出了MapReduce执行过程的视图。简单来说，MapReduce的目标就是实现可伸缩性。使用MapReduce范式时，重点是编写两个函数：

map()
过滤和聚集数据
reduce()
根据map()生成的键完成归约、分组和总结

定义如下：

map() 函数：
主节点得到输入，将输入划分为较小的数据块，再将这些小数据块分布到工作节点（从节点）。工作节点对各个数据块应用相同的转换函数，然后将结果传回主节点。在MapReduce中，程序员要定义一个映射器（mapper），如下：

			map()：(key1, Value) —— [ (key2, Value2) ]

reduce() 函数：
主节点根据唯一的键-值 对将接收到的结果进行洗牌和聚集，然后再一次重新分布到工作节点/从节点，通过另一类转换函数组合这些值。在MapReduce中，程序员要定义一个归约器（reducer），如下：</