YARN/MRv2 Resource Manager深入剖析—服务与事件处理器

ResourceManager中的对象均被封装成服务和事件处理器,其中,封装成服务是为了统一管理,而所有事件处理器处理来自中央总调度器分配的事件,总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器,如此循环,构成了ResourceManager的整体架构。

(1)RM中的服务

YARN采用了服务模型,它将各种对象服务化,以便于统一管理(统一启动、关闭等)。YARN中将服务分为两种:单一服务和组合服务,组合服务是将多个单个服务组合在一起。

单一服务需继承AbstractService抽象类,而组合服务需继承CompositeService抽象类。在ResourceManager中,AdminService和ClientRMService为单一服务,而ResourceManager则为组合服务。

(2)RM中的事件处理器

围绕中央调度器AsyncDispatcher,ResourceManager共有8种事件调度器,它们处理的事件类型如图所示。

每个对象 均可能触发一定的事件,这些事件被统一传递给AsyncDispatcher,AsyncDispatcher收到事件后将之放到一个事件队列中,异步进行处理,比如,如果是AMLauncherEvent类型的事件,则分配给事件处理器ApplicationMasterLauncher,如果是SchedulerEvent类型事件,则分配给事件处理器ResourceScheduler处理。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值