MapReduce的运行机制和原理

一 简述MapReduce的运行机制
答：MapReduce主要 有以下的八个运行步骤

整个流程如图所示。

1 第一步，读取文件。 这个时候需要用到Inputformat（默认是TextInputformat）会通过getSplits方法对输入的文件进行逻辑规划并切分得到splits,有多少个split就启动多少个MapTask.split与tasks是默认的一 一对应的。
第二步，将文件切分为splits之后，由RecordReader（默认为LineRecordReader）进行读取，以\n作为分隔符，读取一行数据，返回key1,value1 .key1表示每行首字符的偏移量，value1表示这一行的文本内容。
2 第二步，自定义map阶段。首先，读取到的key1,value1进入到自定义的Mapper类中，执行用户重写的map函数。RecordReader读写一行，这里调用一次。
3 maptask阶段 这个阶段在内存中完成 主要有分区排序 规约。
将map逻辑完成后的每条结果通过context.write进行collect数据收集。在collect中会进行分区处理，默认使用HashPartitioner.MapReduce
提供Partitioner接口，它的作用是根据key2 value2以及Reduce的数量来决定当前的这对键值