yarn过程详解

1.用户向YARN中提交应用程序,首先找到 ResourceManager,其为该应用程序分配一个Container,其中包含一个ApplicationsManager(应用程序管理器)。

2.ApplicationsManager找到一个NodeManager来启动一个ApplicationMaster。

3.ApplicationMaster首先向ResourceManager注册,然后向ResourceManager请求资源, ResourceManager为该应用程序分配启动程序所需资源。

4.ApplicationMaster申请到资源后,便与对应的NodeManager通信,要求它启动任务。

5.NodeManager为任务设置好运行环境(包括环境变量、JAR包、二进制程序等)后,将任务启动命令写到一个脚本中,并通过运行该脚本启动任务。

6. 各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。

---在应用程序运行过程中,用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。

7.应用程序运行完成后,ApplicationMaster向ResourceManager注销并关闭自己。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值