Yarn的主要组件

YARN 作为Hadoop 资源管理器,它是一个通用资源管理系统,采用主从(Master/slaves)结构,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
1、ResourceManager(RM)
RM 负责整个系统的资源分配,主要由两个组件构成:调度器(Scheduler),应用程序管理器Aplications Master(ASM)
–>调度器(Scheduler)
调度器只是单纯的调度,不参与任何具体的计算失误,也不负责跟踪程序的运行状态,运行失败的时候,也不负责程序的kill,重启等,这些都交由AM负责.调度器根据各个程序的需求进行资源分配,资源单位用一个抽象的概念container,它是一个资源单位,如内存,网络,cpu等,从而限定程序对资源的使用量.调度器是一个插拔式的单位,用户可以根据自己的需求设计新的调度器,yarn提供了几种现成的调度器,如Fair Scheduler,capacity Scheduler.
–>应用程序管理器(Applications Master)(ASM)
负责系统中所有应用程序,提交程序、写生资源,以启动AM,监控AM的运行状态,其失败时,重启它
–>NM
每个节点上的任务和资源管理器,功能包括,定时向RM回报本节点上的内存,硬盘,CPU等资源的使用情况,以及各个container的运行状态,还有接收并处理来自AM的container启动或停止等各种请求
–>ApplicationMaster(AM)
用户提交的每个程序,都包含一个AM,主要的功能用途:
与RM进行ROC通讯,以获取资源(contatiner)
与NM进行RPC通信,对任务进程停止或启动
其次,AM有多种实现,用户也可以自定义
–>container
是yarn中的,对资源的抽象,包括CPU,内存等(主要针对CPU,内存,是否在新版本中增加资源项还未研究,但是个人觉得增加的可能性不大)
原文:https://blog.csdn.net/i_am_kop/article/details/50819872

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值