hadoop MR的过程

map阶段

1.由InputSplitFormat对输入数据进行逻辑分片（FileInputFormat.class中的getSplits()方法），默认的分片大小是不大于blocksize的大小，不小于配置文件中mapred.min.split.size中定义的大小，每一个分片分配一个map任务。数据按行被解析成key/value键值对，key为每行首字母在文件中的偏移量。

2.每一个map任务拥有一个环形缓冲区，数据不断往缓冲区写入，当达到一定的阈值时（缓冲区大小可配，阈值也可配），数据被写入map所在节点的本地磁盘（目录可配），在写入磁盘的过程中会进行一次预排序，并且会根据用户定义的reduce个数进行分区（partition，每个map都会有多个partition）,默认是用hash的方式，用户可以自定义分区方式。

3.map输出到磁盘的文件会不断增多，当达到一定数量的时候触发文件合并，这个时候用户如果启用了combiner函数，则会调用combiner函数，作用是进行本地reduce，减少后续reduce接收过多不必要的数据，减少网络传输。当map任务结束，每个map对应一个已经预分区且排序好的合并后的大文件。

reduce阶段：

1.根据用户定义的reduce数量，随机在container中启动相应数量的reduce。

2.通过http方式从远程节点复制map端产生的文件（不是复制整个文件，而是复制对应区间的数据）。

3.map端的数据复制完毕后进行merge操作。

4.进行用户定义的reduce操作，输出至hdfs。