yarn架构设计

yarn的工作流程
在这里插入图片描述 1、客户端向yarn提交job,jon里包含application master等程序,然后yarn会启动ApplicationsManager,让它来管理job
2、RM为该job分配第一个container,与对应的NM通信,,要求它在这个container启动作业的application master
3、ApplicationMaster会向ApplicationsManager注册,这样用户可以在页面上实时查看任务状态,一直到最后
4、application master采用轮询的方式通过RPC协议向resource scheduler申请和领取资源
5、在ApplicationMaster领取到资源后,会与对应的NM通信要求开启Task
6、NM为任务设置好运行环境后,将任务的启动命令写到一个脚本中,并通过该脚本启动并运行任务
7、各个Task通过RPC向ApplicationMaster汇报,以让application master随时掌握各个任务的运行状态,从而在任务失败时,重启启动任务
8、作业结束后,ApplicationMaster向ApplicationsManager注销并关闭自己

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值