YARN工作机制

YARN工作机制

首先，yarn作为2.0之后独立的资源调度平台（全称Yet Another Resource Negotiator)，负责为运算程序提供服务器运算资源。相当于一个分布式的操作系统平台，而MapReduce等运算程序相当于运行于操作系统之上的应用程序。

二类长期运行的守护进程提供核心服务①管理集群上资源使用一定资源管理器（RM）②运行在所有节点上可启动监控容器的节点管理器（NM）

调度器：三种资源分配方式1.先进先出2.容量3.公平

Yarn的构架及其工作状态如下：

在上图步骤中，大概流程如下：

---

①用户使用客户端向RM提交一个任务，同时指定提交到哪个队列，需要资源是多少（用户可以通过计算引擎的对应参数设置，如若不进行设置，则按照默认设置进行。）

②RM在接收到客户端的任务请求后，会按照要求选择一个NM，后续由NM启动一个名称为AM（AppliacationMaster）的特殊容器（container）。

③AM首先向RM进行注册，根据自己的任务需要向RM申请container

④队列有足够资源的情况下，RM会将container分配给有剩余资源的NM，由AM通知NM启动container

⑤container启动后进行数据的处理，节点管理器NM同时负责监控container的资源使用情况，—这里就是守护进程的具体作用了！。如果container使用的内存多于指定分配的内存，NM会将其杀死，保证其他的container可以正常运行。

最后一步，当各个container向AM汇报自己的任务完成后，AM向注销任务并退出，RM通知NM杀死相应的container，任务便结束了。