Job提交过程

最新推荐文章于 2022-05-11 11:23:53 发布

Lv_Hulk

最新推荐文章于 2022-05-11 11:23:53 发布

阅读量716

点赞数

分类专栏： YARN 文章标签： Job提交过程

本文链接：https://blog.csdn.net/lv_hulk/article/details/87527510

版权

YARN 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

Job提交过程

在这里插入图片描述
1.客户端向resourceManager提交job运行请求。
2.resourceManager进行检查，没有问题向客户端返回一个共享资源路径和一个jobId.
3.客户端将共享资源放在共享资源路径下
4.客户端向resourceManager进行反馈共享资源放置完毕，进行job的真正提交
5.resourceManager为这个job分配一个节点，并在这个节点上启动MRappMaster。
6.resourceManager到对应的节点上先启动container，在这个container中启动MRappMaster
7.Mrapp到共享资源路径下载共享资源split.job.xml
8.MRapp对job进行初始化，生成job的一个作业簿
9.MRapp向resourceManager申请maptask和reducetask运行的资源先发送到maptask，在发送到reducetask的请求。
10.resourceManager向MRapp返回maptask和reducetask的资源节点
11.MRapp到对应的节点上启动container，启动maptask任务
12.maptask任务到对应的共享资源路径下，下载共享资源，开始执行maptask任务
13.maptask运行过程中回向MRapp汇报自己的运行进度和状态
14.当有一个maptask任务执行完成后，只会进行数据的拉取，不会进行数据的计算。
15.到资源共享资源路劲下下载共享资源，当所有的maptask执行完成就开始执行reducetask任务。
16.当maptask任务或reducetask任务执行完成后，maptask或reducetask就会向MRappMaster 注销自己，进行资源释放，同时MRappMaster回向reduceManager进行注销自己，进行资源释放。