1.MapReduce程序提交到客户端节点
2.客户端节点向RM申请ApplicationMaster,(每一个任务都会对应一个ApplicationMaster,这个ApplicationMaster负责后续任务的运行),RM告知客户端资源上传路径,这里上传资源到HDFS是因为要运行的程序需要共享到其它节点,而HDFS上的资源是可以被节点共享的。
3.客户端将资源上传至目标路径。
4.资源提交完毕后,客户端申请RM运行ApplicationMaster。
5.RM将运行ApplicationMaster申请初始化为一个Task,放入待运行任务队列中。
6.轮到当前任务执行时,RM会在一个节点上启动一个Container来运行ApplicationMaster。
7.ApplicationMaster会把当前任务的资源从HDFS中拉取下来。
8.ApplicationMaster根据任务向RM申请若干个Container来运行若干个MapTask。
9.当MapTask执行完毕后,ApplicationMaster根据任务向RM申请若干个Container来运行若干个ReduceTask。
10.当整个程序运行完毕后,ApplicationMaster会向RM申请注销自己。
向YARN提交作业工作流程
最新推荐文章于 2024-08-18 16:27:22 发布