Yarn原理图

        Yarn是hadoop的三大组件之一,是资源调度器,负责资源调度和资源的分配。具体原理如下图:

        客户端向resource Manager发送资源请求。

        RM接收到请求之后,会在某一台机器上创建Application Master ,并建立心跳机制进行反向注册,并合计自己需要多少cpu和内存,再向RM申请资源。

        RM会校验它的权限,并看看资源够不够,都通过了会告诉AM可以,并返回一个nodemaneger列表。

        AM会根据列表,去寻找nodemaneger,创建map任务和reduce任务。

        在map阶段,先分区,排序,规约,分组。将数据交给reduce的分组,分组之后再聚合,最后将结果进行输出。

        任务过程中,要向AppMaster发送心跳,汇报进度。AppMaster向Resource Maneger发送心跳,汇报进度。Resource Maneger向客户端发送进度。

        当所有任务完成之后,把资源统统释放掉。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值