YARN/MRv2 Resource Manager深入剖析—服务与事件处理器

ResourceManager中的对象均被封装成服务和事件处理器,其中,封装成服务是为了统一管理,而所有事件处理器处理来自中央总调度器分配的事件,总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器,如此循环,构成了ResourceManager的整体架构。

(1)RM中的服务

YARN采用了服务模型,它将各种对象服务化,以便于统一管理(统一启动、关闭等)。YARN中将服务分为两种:单一服务和组合服务,组合服务是将多个单个服务组合在一起。

单一服务需继承AbstractService抽象类,而组合服务需继承CompositeService抽象类。在ResourceManager中,AdminService和ClientRMService为单一服务,而ResourceManager则为组合服务。

(2)RM中的事件处理器

围绕中央调度器AsyncDispatcher,ResourceManager共有8种事件调度器,它们处理的事件类型如图所示。

每个对象 均可能触发一定的事件,这些事件被统一传递给AsyncDispatcher,AsyncDispatcher收到事件后将之放到一个事件队列中,异步进行处理,比如,如果是AMLauncherEvent类型的事件,则分配给事件处理器ApplicationMasterLauncher,如果是SchedulerEvent类型事件,则分配给事件处理器ResourceScheduler处理。

展开阅读全文

cloudera manager安装yarn服务,在启动yarn报错:

06-28

rnrnError starting NodeManagerrnorg.apache.hadoop.service.ServiceStateException: org.fusesource.leveldbjni.internal.NativeDB$DBException: IO error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: Permission deniedrn at org.apache.hadoop.service.ServiceStateException.convert(ServiceStateException.java:59)rn at org.apache.hadoop.service.AbstractService.init(AbstractService.java:172)rn at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartRecoveryStore(NodeManager.java:157)rn at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:195)rn at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)rn at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:474)rn at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:521)rnCaused by: org.fusesource.leveldbjni.internal.NativeDB$DBException: IO error: /var/lib/hadoop-yarn/yarn-nm-recovery/yarn-nm-state/LOCK: Permission deniedrn at org.fusesource.leveldbjni.internal.NativeDB.checkStatus(NativeDB.java:200)rn at org.fusesource.leveldbjni.internal.NativeDB.open(NativeDB.java:218)rn at org.fusesource.leveldbjni.JniDBFactory.open(JniDBFactory.java:168)rn at org.apache.hadoop.yarn.server.nodemanager.recovery.NMLeveldbStateStoreService.initStorage(NMLeveldbStateStoreService.java:864)rn at org.apache.hadoop.yarn.server.nodemanager.recovery.NMStateStoreService.serviceInit(NMStateStoreService.java:195)rn at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)rn ... 5 morern 问答

没有更多推荐了,返回首页