YARN的工作机制

 

1,客户端向 Yarn 集群提交应用程序,即job。

2,ResourceManager 进程和 NodeManager 进程进行通信,根据集群的资源情况,分配第一个 Container 给集群的某个 NodeManager,NodeManager 启动 Container。

3,ResourceManager 将 MapReduce ApplicationMaster 分发到刚才启动的 Container 上,并在容器中启动。

4,MapReduce ApplicaitonMaster 启动之后立刻向 ResourceManager 注册,并且为 MapReduce 程序申请资源。

5,MapReduce ApplicationMaster 申请到容器之后立刻和对应的 NodeManager 通信,将用户的 MapReduce 程序分发到对应的 Container 中运行,这里运行的就是 Map 进程或者 Reduce 进程。

6,Map 或者 Reduce 任务在运行期间会向 MapReduce ApplicationMaster 进行通信,汇报自己的运行状态,如果运行结束,MapReduce Application 会向 ResourceManager 注销并释放所有的容器。

​​​​

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值