yarn资源调度

  1. 调度流程图

MapReduce NextGen Architecture

  1. client向resourcemanager(RM)提交任务
  2. RM在某一个nodeManager(NM)启动一个对应的applicationMaster(AM)
  3. AM向RM注册自己及申请任务需要的资源
  4. RM要求对应NM启动相应的Container
  5. AM发送请求到对应NM,启动任务
  6. NM设置Container的运行时环境(jar包,环境变量,任务启动脚本),NM会通过脚本启动任务
  7. 启动的过程是由NM的ContainerLauncher负责的,ContainerLauncher完成启动任务的工作
  8. task和AM的交互,task会向AM汇报任务状态和进度信息,比如任务启动,停止,状态更新。AM利用这些信息监控task整个执行过程。第二,是NM和RM的交互,这个过程和任务没有关系,主要是两者之间保持的心跳信息(状态的变化等等)
  9. Application Master在检测到作业运行完毕之后,Application Master想Resource Manager 删除自己,并且停止自己执行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值