- MR程序提交到客户端所在节点。
- 客户端向RM申请App_ID。
- RM返回资源提交路径和App_ID。
- 客户端提交资源到指定路径,资源包括:split切片信息、job配置信息、jar包等。
- 向RM申请运行App的资源。
- RM把请求初始化为一个task,进入任务队列等待执行。
- NM领取到task任务后,创建container容器,并在容器中生成AppMaster。
- AppMaster在资源路径下载job所需文件到本地。
- AppMaster向RM申请运行maptask的容器。
- NM领取到task任务,创建container容器,运行maptask。
- AppMaster把程序启动脚本发送给maptask,maptask经过一系列操作后分区排序。
- maptask执行完毕后,AppMaster向RM申请运行reduce容器。
- NM领取到task任务,创建container容器,运行reducetask。
- reducetask向maptask获取对应分区的数据,进行处理。
- job运行完毕,AppMaster向RM注销自己。
MapReduce job提交到Yarn的运行流程
最新推荐文章于 2022-04-05 14:12:01 发布