Yarn介绍(设计理念与基本架构)

最新推荐文章于 2024-08-07 23:47:01 发布

SmallBird6

最新推荐文章于 2024-08-07 23:47:01 发布

阅读量891

点赞数 2

分类专栏： Hadoop 文章标签： Hadoop

Hadoop 专栏收录该内容

9 篇文章 0 订阅

订阅专栏

Yarn : 新的计算框架，是一个全局资源管理器，负责整个集群的资源管理和分配

一. Yarn产生背景

Hadoop1.0MR有局限性,概括为以下几个方面 :

扩展性差
可靠性差
资源利用率低
无法支持多种计算框架

为克服Hadoop1.0中MR存在各种问题而提出了Yarn,它将JobTracker中的资源管理和作业控制功能分开,分别由组件ResourceManager和ApplicationMaster实现,其中,ResourceManager负责所有应用程序的资源分配,而ApplicationMaster仅负责管理一个应用程序,进而诞生了全新的通用资源管理框架 - Yarn

二. Yarn基本架构

基本架构

Yarn是资源管理系统,它的基本设计思想是将Hadoop1.0MR中的JobTracker拆分成两个独立的服务 : 一个全局资源管理器ResourceManager和每个应用程序特有的ApplicationMaster

Yarn总体上仍然是Master/Slave结构,在整个资源管理框架中,ResourceManager为Master,NodeManager为Slave,ResourceManager负责对各个NodeManager上的资源进行统一管理和调度.当用户提交一个应用程序时,需要提供一个用以跟踪和管理这个程序的ApplicationMaster,它负责向ResourceManager申请资源,并要求NodeManager启动可以占用一定资源的任务

Apache Yarn的基本架构

组件构成

1）调度器：

它仅仅是一个单纯的“调度器”，不参与集群的其他任何操作，负责给各个应用程序的资源进行分配，基本分配单位是一个资源抽象概念“Container”，Container封装了内存和CPU。

2）应用程序管理器（ApplicationMaster）（AM）

应用程序管理器负责整个系统中的所有应用程序，包括：应用程序的提交、与调度器协商资源已启动ApplicationMaster进程，监控ApplicationMaster运行状态并在失败时重新启动它等

3）Container

Container是YARN的资源抽象，Container封装了某个节点内存和CPU，当AM向RM申请资源时，RM为AM 返回的资源用Container表示。负责对各个应用程序的资源进行分配

4）NodeManager（NM）

是每一个节点的资源和任务管理器，1会定时向RM汇报它所在节点的资源使用情况和Container的运行状态；2可以处理来自AM发送的Container的启动/停止等等命令

5）ResourceManager（RM）

全局资源管理器，负责整个集群集群的资源管理与分配， RM作为整个集群的资源管理与分配的角色，如果出现单点故障（单个节点宕掉），Hadoop2.4.0版本之前，无法在进行资源管理与分配，Hadoop2.4.0版本出现之后有了HA（高可用），可以增加RM的可用性（出现单点故障不影响RM运行）

通信协议

Yarn的通信协议 - RPC协议,RPC协议是连接各个组件的,在Yarn中,任何两个需相互通信的组件之间仅有一个RPC协议,而对于任何一个RPC协议,通信双方有一端是Client,有一端为Server,且Client总是主动连接Server的,因此,Yarn实际上采用的拉式(pull-based)通信模型

Yarn的RPC协议

Yarn主要由以下几个RPC协议组成 :

JobClient ---> RM(ApplicationClientProtocol) : JobClient通过该RPC协议提交应用程序,查询应用程序状态等
Admin ---> RM(ResourceManagerAdministrationProtocol) : Admin通过该协议更新系统配置文件,比如节点黑白名单,用户队列权限等
AM ---> RM(ApplicationMasterProtocol) : AM通过该RPC协议向RM注册和撤销自己,并为各个任务申请资源
AM ---> NM(ContainerManagementProtocol) : AM通过该RPC要求NM启动或者停止Container,获取各个Container的使用状态等信息
NM ---> RM(ResourceTracker) : NM通过该RPC协议向RM注册,并定时发送心跳信息会报当前节点的资源使用情况和Container运行情况

任务执行流程

1 用户向YARN中提交应用程序，其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等

2 ResourceManager为该应用程序分配第一个Container（这里可以理解为一种资源比如内存），并与对应的Node-Manager通信，要求它在这个Container中启动应用程序的ApplicationMaster。

3 ApplicationMaster首先向ResourceManager注册，这样用户可以直接通过ResourceManage查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束，即重复步骤4~7。

4 ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。

5 一旦ApplicationMaster申请到资源后，便与对应的NodeManager通信，要求它启动任务。

6 NodeManager为任务设置好运行环境（包括环境变量、JAR包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。

7 各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在应用程序运行过程中，用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。

8 应用程序运行完成后，ApplicationMaster向ResourceManager注销并关闭自己

三. 多角度理解Yarn

并行编程

单机程序设计,为了快速处理一个大的数据集,通常采用多线程并行编程,有操作系统启动主线程,由它切分数据,任务分配,子线程启动和销毁等工作,而各个子线程只负责计算自己的数据,当所有子线程处理完数据后,主线程退出

类比,Yarn上的应用程序运行过程与之相近,只不过他是集群上的分布式并行编程.Yarn为应用程序启动AppMaster(相当主线程),然后由AppMaster负责数据切分,任务分配,启动和监控等工作,而AppMaster启动的每个Task(相当于子线程)仅负责自己的计算任务.当计算完成,AppMaster认为运行完成,退出

资源管理

资源管理系统的主要功能是对集群中各类资源进行抽象,并根据各种应用程序或者服务的要求,按照一定的调度策略,将资源分配给他们使用,同时需采用一定的资源隔离机制防止应用程序或者服务之间因资源抢占而相互干扰

云计算

普遍认为,云计算包括以下几个层次的服务 :