ResourceManager RM
NodeManager NM
ApplicationMaster AM
1、Mr程序提交到客户机所在的节点,会根据配置来决定是本地运行还是yran运行。
2、yarn运行的话,它会向RM发起请求,RM返回Job的工作目录和id
3、客户机把Job运行所需的资源提交上去,job.split job.xml jar包
4、资源提交完毕后,客户机向RM发起运行的请求AM的请求
5、RM会把请求初始化成一个Task,放入调度队列中
6、NM领取任务,创建容器,运行AM,下载job资源
7、AM根据job资源,来决定开几个MapTask,向RM申请,排队
8、NM领取MapTask任务,创建容器,AM发送启动脚本运行,运行结束生成分区数据文件和index文件
9、AM向RM申请ReduceTask任务,调度队列排队
10、NM领取ReduceTask任务,创建容器,运行ReduceTask,向Map获取对应分区的数据并运行reduce
11、程序运行结束,AM向RM注销