一、什么是Yarn
Yarn是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
二、Yarn的基本架构
YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。看一张官网上的架构图:
由图可以看出,yarn总体上是master/slaver结构,在整个资源管理框架中ResourceManager为master,NodeManager为slaver。
另外我在其他文章中看到另外一张图:
1.ResourceManager
ResourceManager是全局的资源管理器,它是Master上一个独立运行的进程,负责集群统一的资源管理、调度、分配等。
根据功能不同将它分为两个组件:Scheduler(调度器)和 ApplicationManager(应用管理器)。
(1)Scheduler
Scheduler根据集群中容量、队列和资源等限制,将资源分配给各个正在运行的应用。虽然被称为调度器,但是它仅负责资源的分配,而不负责监控各个应用的执行情况和任务失败、应用失败或者硬件失败时的重启任务。Scheduler根据各个应用的资源需求和集群各个节点的容器(Container)进行调度。
在yarn中有三种调度器:FIFO Scheduler ,Capacity Scheduler,FairS cheduler。
(2)ApplicationManager
ApplicationManager主要负责接收job的提交请求,为应用程序分配用来运行ApplicationMaster的第一个Container,并且负责监控ApplicationMaster,在ApplicationMaster失败时负责重启运行ApplicationMaster的Container。
总的来说,ResourceManager的主要作用为:
-
处理客服端请求
-
监控NodeManager
-
启动或监控ApplicationMaster
-
资源的分配和调度
2.NodeManager
NodeManager(节点管理器)整个集群有多个,负责单个节点上的资源管理,当一个节点启动时,NodeManager会向ResourceManager进行注册并告知ResourceManager自己有多少资源可用。它负责接收ResourceManager的资源分配请求,分配具体的Container给应用,并监控和报告节点中Container的运行状态(CPU、内存、硬盘等)到ResourceManager;管理每个Container的声明周期,NodeManager只负责管理自身的Container,它并不知道运行在它上面的应用信息,负责管理应用信息的组件是ApplicationMaster。
NodeManager由Container和ApplicationMaster两个组件组成:
(1)Container
Container是集群节点将自身内存、CPU、磁盘、网络等资源封装在一起的抽象概念,是yarn框架的计算单元,是具体执行应用task(如mapTask、reduceTask)的基本单位。Container和集群节点的关系是:一个几点会运行多个Container,但一个Container不会跨节点运行。Container由NodeManager监控运行状态,并上报到ResourceManager,由ResourceManager调度。
(2)ApplicationMaster
每一个应用程序从ApplicationMaster开始,它本身就是一个Container(第0个),一旦启动,ApplicationMaster就会根据任务需求,与ResourceManager协商需要的Container,在运行过程中动态释放和申请Container。
ApplicationMaster负责与scheduler协商合适的container,跟踪应用程序的状态,以及监控它们的进度,ApplicationMaster是协调集群中应用程序执行的进程。每个应用程序都有自己的ApplicationMaster,负责与ResourceManager协商资源(container)和NodeManager协同工作来执行和监控任务 。当一个ApplicationMaster启动后,会周期性的向resourcemanager发送心跳报告来确认其健康和所需的资源情况。
总的来说,NodeManager主要功能为:
-
管理单个节点上的资源
-
处理来自ResourceManager的命令(为应用分配Container)
-
处理来自ApplicationMaster的命令
三、工作机制/作业提交流程
以一个MR的程序为例,了解一下yarn的工作机制及Job的提交流程:
作业提交全过程详解
1、作业提交
第1步:client调用job.waitForCompletion方法,向整个集群提交MapReduce作业。
第2步:client向ResourceManager申请一个Application。
第3步:ResourceManager给client返回该job资源的提交路径和applicationId。
第4步:client提交jar包、切片信息和配置文件到3返回的指定资源提交路径。
第5步:client提交完资源后,向ResourceManager申请运行ApplicationMaster。
2、 作业初始化
第6步:当ResourceManager收到client的请求后,将该job初始化成Task添加到调度器中。
第7步:某一个空闲的NodeManager领取到该job。
第8步:该ResourceManager创建Container,并产生ApplicationMaster。
第9步:下载client提交的资源到本地。
3、任务分配
第10步:ApplicationMaster向ResourceManager申请运行多个maptask任务资源。
第11步:ResourceManager将运行maptask任务分配给另外两个NodeManager,另两个NodeManager分别领取任务并创建容器。
4、任务运行
第12步:ApplicationMaster向两个接收到任务的NodeManager发送程序启动脚本,这两个NodeManager分别启动maptask,maptask对数据分区排序。
第13步:ApplicationMaster等待所有maptask运行完毕后,向ResourceManager申请容器,运行reduce task。
第14步:reduce task向maptask获取相应分区的数据。
第15步:程序运行完毕后,MR会向ResourceManager申请注销自己。