yarn架构设计

这里写图片描述

注释:

1.客户端提交请求
2.与资源调度器协调启动AM
3.在container上启动AM
4.AM向ASM注册,这样ResourceManager就可以查看程序的运行状态,AM就可以为任务申请资源
5.AM采用轮询的方式通过RPC协议向ResouceManager申请和领取资源
6.AM申请到计算资源NM
7.NM启动分配container启动task

名词解释

NodeManager

负责每个节点上资源的使用和分配,处理来自RM的命令和AM的命令,NM管理这抽象的容器资源container,并且定时给RM汇报资源的使用情况和container运行情况

ApplicationMaster

客户端请求给ResourceManager(RM),
RM在NodeManager(NM)上分配一个container去启动ApplicationMaster(AM),AM根据客户端请求资源情况,向RM申请资源,RM收到AM的资源请求情况后,在NM上分配一批container资源给AM;AM有了这些计算资源后,把自己的计算逻辑分成一个个的task,然后在container上执行

container

是yarn中的资源抽象,它封装了集群中节点上的多维度资源,是资源分配的最小单位,这里的资源包括内存和cpu

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值