- 客户端所在节点运行jar,创建YarnRunner
- YarnRunner向ResourceManager申请一个application。
- RM返回资源提交路径和任务ID。
- 客户端将相关资源提交到RM指定的路径+任务ID下,文件包括wc.jar,job.xml,job.split。
- 客户端通知RM资源提交完毕,申请运行ApplicationMaster
- RM将客户端的请求初始化为一个task,并将task放入任务队列中。
- 一个较为空闲的NN通过与RM的心跳,从任务队列中领取了这个任务。
- RM为Application开启第一个Container,并要求NM在容器中开启AM
- AM将资源拷贝到本地。
- AM采用轮询的方式通过RPC调用向ResourceManager申请和领取资源。
- 一旦获取资源,AM就与对应NM取得联系并要求开启Container。
- NM为任务布置好环境之后,将启动命令写入启动脚本中,并通过脚本开启任务。
- AM等待所以MapTask运行完毕后,向RM申请资源,运行ReduceTask。
- ReduceTask向MapTask获取对应分区的数据。
- 任务完成后AM向RM申请注销自己。
Yarn工作机制流程
最新推荐文章于 2024-07-25 09:48:00 发布