MapReduce程序的运行流程

MapReduce程序运行流程图

MppReduce运行大致分为12步

1.Runjar 启动Job（MapReduce程序）
2.Job向ResouceManager 获取id
3.拷贝resource(任务的Jar包/任务的配置/分片等信息)到HDFS中
4.真正的提交任务（该步骤之后的操作全部在YANG集群中进行）
5.在空闲的NodeManager Node中启动一个容器
Node Manager(Java进程)启动一个App Master(Java进程)
6.进一步初始化App Master
7.App Master从HDFS接收分片信息
8.App Master在接收到HDFS的分片信息之后，根据分片的大小请求Resource Manager分配资源
9.AppMaster在ResouceManager指定的NodeManager Node上启动指定的计算容器，NodeManager启动一个YangChild(Java进程)
10.YangChild从HDFS中接收资源(Jar包、配置、数据)
11.YangChild运行MapTask 、 ReduceTask
12.YangChild向AppMaster汇报状态

ResourceManager:
是在系统中的所有应用程序之间仲裁资源的最终权限。

NodeManager:
是每台机器框架代理，负责容器，监视其资源使用情况（CPU，内存，磁盘，网络）并将其报告给ResourceManager的Scheduler

App Master:
应用的Master负责任务计算过程中的任务监控、故障转移，每个Job只有一个。