YARN的工作机制

YARN定义:全称为Yet Anaother Resource Negotiator,是一套全新的任务调度和资源管理框架,是Hadoop2的关键组件之一。

不同于Hadoop1,YARN不仅支持MapReduce,还支持各种计算引擎,是一个通用的资源管理器。

YARN也是典型的Master-Slave架构,Master称为ResourceManager(RM),Slave称为NodeManger(NM)。

RM负责接收用户提交的任务,并且决定为任务分配多少资源和调度到哪个NM去执行;NM是真正执行任务的节点,周期性的像RN汇报自己的资源使用状况并领取RM分配的任务,负责启动和停止任务相关的进程等工作。

工作机制

1.用户使用客户端向RM提交一个任务,同时制定提交到那个队列和需要多少资源。用户可以通过每个计算引擎的对应参数设置,如果没有特别指定,则使用默认设置。

2.RM在收到任务提交的请求后,先根据资源和队列是否满足要求选择一个NM,通知他启动一个特殊的container,称为ApplicationMaster(AM),后续流程由他发起。

3.AM向RM注册后根据自己任务的需要,向AM通知NM启动container,包括数量,所需资源量,所在位置等因素。

4.如果队列有足够资源,RM会将container分配给有足够剩余资源的NM,由AM通知给NM启动container。

5.container启动后执行具体的任务,处理分给自己的数据。NM除了负责启动container,还负责监控它的资源使用状况以及是否失败退出等工作,如果container实际使用的内存超过申请时指定的内存,会将其杀死,保证其他container能正常进行。

6.各个container向AM汇报自己的速度,都完成后,AM向RM注销任务并退出,RM通知NM杀死对应的container,任务结束。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值