YARN的工作机制

作业提交阶段
1.​客户端要向整个集群提交job,同事申请job-ID                                                           2. ​resourcemanager收到客户端的请求后,返回资源提交HDFS路径和job-ID            3.​客户端根据resourcemanager的返回数据的值发送jar包,上传计算所需要的资到          指定位置
  4. ​客户端提交完资源后向resourcemanager发送执行作业请求,resourcemanager          在接收到请求之后会针对这个job创建一个applicationmanager来管理job
作业初始化阶段
   5.​applicationmanager会将job添加到resourceschedule(资源调度器)中
   6.​当轮到job执行时resourcemanager会通知applicationmanager                                    有空闲nodemanager可以执行job
   7.​applicationmanager调用分配给他的nodemanager开辟container(容器)                  启动对应的applicationmaster
   8.​applicationmaster获取HDFS上的文件,并生成task
任务分配阶段
   9.​applicationmaster向resourcemanager申请运行task的任务资源
  10.​resourceschedule将需要运行的task分配给空闲                                                           的nodemanager,  nodemanager领取任务并创建执行task的container(容器)
任务运行阶段
  11.​applicationmaster通知所有收到任务的nodemanager启动计算
  12​nodemanager启动task运算
  ​13.运行完task后向resourcemanager申请container运行新的task
  14.​所有task执行完毕后applicationmaster向resourcemanager申请注销自己
作业完成阶段

 

       

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值