YARN 工作原理

YARN工作原理：

 

 

1、用户向YARN 中提交应用程序或者，其中包括ApplicationMaster程序，启动ApplicationMaster命令，用户程序等。

2、ResourceManager 为作业分配第一个Container，并与对应的NodeManager 通信，要求它在这个Container中启动该作业的ApplicationMaster.

3、ApplicationMaster 首先向ResourceManager 注册，这样用户可以直接通过ResourceManager 查询作业的运行状态。然后为各个任务申请资源并监控任务的运行状态，直到运行结束。重复步骤（7）

4、ApplicationMaster 采用轮询的方式通过RPC 请求向ResourceManager 申请和获取资源

5、一旦AppllicationMaster 申请到资源，便与对应的NodeManager通信,要求它启动任务。

6、NodeManager 启动任务

7、各个任务通过RPC协议向ApplicationMaster 汇报自己的状态和进度，以便ApplicationMaster 随时掌握各个任务的运行状态，从而在任务失败的时候重启任务。

8、作业完成之后，ApplicationMaster 向 ResourceManager 注销并关闭自己。

 

转载于:https://www.cnblogs.com/wbringarden/p/10247499.html