MapReduce执行流程

1.客户端提交作业给YARN集群，RM接受客户端所提交的作业。
2.RM根据作业所要处理的文件来决定Map任务在哪些节点上执行，然后确定Reduce任务在哪些节点【NN】上执行。
3.RM分配Map任务和Reduce任务到相应的节点上。
4.Map任务开始执行，将执行结果临时保存到本地【执行过Map任务的节点】。
5.当Map任务执行完成之后，Reduce任务开始执行，Reduce任务从远程节点上获取数据。
6.Reduce任务执行完成，得到最终的结果。

Shuffle，洗牌：
1.分区：决定从Map端出来的数据进入哪个Reducer。
Reducer>1：
1.计算k2的哈希值；
2.使用该哈希值整除以Reducer的个数；
3.余数是x，就让该数据进入编号为x的Reducer。
2.分组：让K2相同的V2形成集合；在分组的时候，各个Map的执行结果数据要进行汇总处理。
3.排序：决定哪一组数据先让Reducer处理；
1、Map同一时刻只能处理一行数据；处理一行数据，map方法被调用一次。
2、Reduce同一时刻只能处理一组数据；处理一组数据，reduce方法被调用一次。