Hadoop 2.0 Yarn原理
预习笔记
(一)Yarn基本组件
Yarn主要是由4个组件组成的,分别是ResourceManager,NodeManager,ApplicationMaster和Container。
-
ResourceManager(RM)
它负责处理客户端的请求,对各NodeManager上的资源进行统一管理和调度,给ApplicationMaster分配空闲的container运行并监控其运行状态,主要功能由内置的两个组件完成:
(1)调度器(Scheduler)
调度器根据容量、队列等限制条件,将系统中的抽象资源(Container)分配给正在运行的应用程序,而不负责监控跟踪应用程序的状态。
(2)应用程序管理器(ApplicationsManager)
应用程序管理器负责管理系统所有应用程序,包括应用程序提交,与调度器协商资源以启动ApplicationMaster,监控ApplicationMaster运行状态,跟踪每一个Container分发的进度与状态。 -
NodeManager(NM)
它是每一个节点上的资源与任务管理器,它会定时向ResourceManager汇报本节点上资源使用情况和各个Container的运行状态。同时接受来自AppMst的请求。 -
ApplicationMaster