YARN的工作机制

 Resource Manger(RM):资源调查器,负责管理客户端请求,对各NM上的资源进行统一管理和调度。组成:调度器,程序管理器。

Application ManagerAMG)应用程序管理器:负责管理整个系统中所有应用程序,包括应用程序提交,与制度器协商资源以启动等。

Schedule:资源调度器 根据容量,队列等限制条件,将系统中的资源分配给各个正在运行的应用程序,调度器仅根据各个应用程序的资源需求进行资源分配。而资源分配的单位是container.

Container:容器 是yarn中的资源抽象,它封装了某节点上的多维度资源,当AMR向Resource Manager申请资源时,Resource Manager为AMR返回的资源用Container表示。

流程分析:

1.像整个集群提交job

2.RM收到后,返回HDFS路径

3.提交如下资源到HDFS

4.客户端向RM发送执行作业请求

5.把job加入到Schedule队列中

6.返回NM

7.开辟Container,启动AMR

8.从HDFS中获取文件,根据切片信息制成Task

9.AMR向AMG注册

10.申请资源

11.以Container的形式返回

12.请求指定NM分配资源

13.启动Container

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值