mapreduce的工作原理分析

分布式计算的思想 ------合久必分，分久必合（哈哈）

map reducce

input (输入) output（输出）

MAP端的含义：

注意：假设HDFS的block大小为64M，采用TextInputFormat，现有一个目录，下面两个文件

大小分为1M和120M，MapReduce处理这个目录下的数据时，默认情况下，将启动几个Map Task?

答：3个

注意： Block：HDFS中最小的数据存储单位，默认是64M；Split：MapReduce中最小的计算单元，默认与Block一一对应。

两者的对应关系是任意的，可有用户控制。

首先，由mapreduce处理时先启动相应数量的Map Task(我们由一个叫做Partitioner 的数据分组 决定了Map task输出的每条数据交给哪个Reduce Task处理)。

		然后，Combiner：可以看做local reduce  合并相同的key对应的value，通常与reducer逻辑一样 ，好处是减少map task输出 数量（磁盘IO），见少Reduce-map网络传输数据量(I网络IO) 结果叠加 (map)

Shuffle：Shuffle描述着数据从map task输出到reduce task输入的这段过程 (

完整地从map task端拉取数据到reduce 端。
在跨节点拉取数据时，尽可能地减少对带宽的不必要消耗。
减少磁盘IO对task执行的影响。
)

Reduce的含义：
1．Reduce会接收到不同map任务传来的数据，并且每个map传来的数据都是有序的。如果reduce端接受的数据量相当小，则直接存储在内存中（缓冲区大小由mapred.job.shuffle.input.buffer.percent属性控制，表示用作此用途的堆空间的百分比），如果数据量超过了该缓冲区大小的一定比例（由mapred.job.shuffle.merge.percent决定），则对数据合并后溢写到磁盘中。

2．随着溢写文件的增多，后台线程会将它们合并成一个更大的有序的文件，这样做是为了给后面的合并节省时间。其实不管在map端还是reduce端，MapReduce都是反复地执行排序，合并操作，现在终于明白了有些人为什么会说：排序是hadoop的灵魂。

3．合并的过程中会产生许多的中间文件（写入磁盘了），但MapReduce会让写入磁盘的数据尽可能地少，并且最后一次合并的结果并没有写入磁盘，而是直接输入到reduce函数。