1.客户端提交作业给YARN集群,RM接受客户端所提交的作业。
2.RM根据作业所要处理的文件来决定Map任务在哪些节点上执行,然后确定Reduce任务在哪些节点【NN】上执行。
3.RM分配Map任务和Reduce任务到相应的节点上。
4.Map任务开始执行,将执行结果临时保存到本地【执行过Map任务的节点】。
5.当Map任务执行完成之后,Reduce任务开始执行,Reduce任务从远程节点上获取数据。
6.Reduce任务执行完成,得到最终的结果。
Shuffle,洗牌:
1.分区:决定从Map端出来的数据进入哪个Reducer。
Reducer>1:
1.计算k2的哈希值;
2.使用该哈希值整除以Reducer的个数;
3.余数是x,就让该数据进入编号为x的Reducer。
2.分组:让K2相同的V2形成集合;在分组的时候,各个Map的执行结果数据要进行汇总处理。
3.排序:决定哪一组数据先让Reducer处理;
1、Map同一时刻只能处理一行数据;处理一行数据,map方法被调用一次。
2、Reduce同一时刻只能处理一组数据;处理一组数据,reduce方法被调用一次。