Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
一、Yarn基本架构
Yarn
主要由ResourceManager
、NodeManager
、ApplicationMaster
、Container
等组件构成。
-
ResourceManager(RM)
的主要作用:(1)处理客户端请求;
(2)监控
NodeManager
;(3)启动或监控
ApplicationMaster
;(4)资源的分配与调度。
-
NodeManager(NM)
的主要作用:(1)管理单个节点上的资源;
(2)处理来自
ResourceManager
的命令;(3)处理来自
ApplicationMaster
的命令。 -
ApplicationMaster(AM)
的主要作用:(1)负责数据的切分;
(2)为应用程序申请资源并分配给内部的任务;
(3)任务的监控与容错
-
Container
的主要作用:Container
是Yarn中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等。
二、Yarn工作机制
MR
程序提交到客户端所在的节点。YarnRunner
向ResourceManager
申请一个Application
RM
将该应用程序的资源路径返回给YarnRunner
- 该程序将运行所需资源提交到
HDFS
上 - 程序资源提交完毕后,申请运行
mrAppMaster
RM
将用户的请求初始化成一个Task
- 其中一个
NodeManager
领取到Task
任务 - 该
NodeManager
创建容器Container
,并产生MRAppmaster
Container
从HDFS
上拷贝资源到本地MRAppmaster
向RM 申请运行MapTask
资源RM
将运行MapTask
任务分配给另外两个NodeManager
,另两个NodeManager
分别领取任务并创建容器MR
向两个接收到任务的NodeManager
发送程序启动脚本,这两个NodeManager
分别启动MapTask
,MapTask
对数据分区排序MrAppMaster
等待所有MapTask
运行完毕后,向RM申请容器,运行ReduceTask
ReduceTask
向MapTask
获取相应分区的数据- 程序运行完毕后,
MR
会向RM
申请注销自己。
三、job提交全过程
job提交过程之Yarn:
-
作业提交
第1步:
Client
调用job.waitForCompletion
方法,向整个集群提交MapReduce
作业。第2步:
Client
向RM申请一个作业id
。第3步:
RM
给Client
返回该job
资源的提交路径和作业id
。第4步:
Client
提交jar
包、切片信息和配置文件到指定的资源提交路径。第5步:
Client
提交完资源后,向RM
申请运行MrAppMaster
。 -
作业初始化
第6步:当RM收到
Client
的请求后,将该job
添加到容量调度器中。第7步:某一个空闲的
NM
领取到该Job
。第8步:该
NM
创建Container
,并产生MRAppmaster
。第9步:下载
Client
提交的资源到本地。 -
任务分配
第10步:
MrAppMaster
向RM申请运行多个MapTask
任务资源。第11步:
RM
将运行MapTask
任务分配给另外两个NodeManager
,另两个NodeManager
分别领取任务并创建容器。 -
任务运行
第12步:
MR
向两个接收到任务的NodeManager
发送程序启动脚本,这两个NodeManager
分别启动MapTask
,MapTask
对数据分区排序。第13步:
MrAppMaster
等待所有MapTask
运行完毕后,向RM申请容器,运行ReduceTask
。第14步:
ReduceTask
向MapTask
获取相应分区的数据。第15步:程序运行完毕后,
MR
会向RM
申请注销自己。 -
进度和状态更新
YARN
中的任务将其进度和状态(包括counter
)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval
设置)向应用管理器请求进度更新, 展示给用户。 -
作业完成
除了向应用管理器请求作业进度外, 客户端每5秒都会通过调用
waitForCompletion()
来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval
来设置。作业完成之后, 应用管理器和Container
会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。
job提交过程之MapReduce:
四、资源调度器
目前,Hadoop
作业调度器主要有三种:FIFO
、Capacity Scheduler
和Fair Scheduler
。Hadoop2.7.2
默认的资源调度器是Capacity Scheduler
。
具体设置详见:yarn-default.xml
文件:
<property>
<description>The class to use as the resource scheduler.</description>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
-
先进先出调度器(
FIFO
)
-
容量调度器(
Capacity Scheduler
)
(1)支持多个队列,每个队列可配置一定的资源量,每个队列采用FIFO调度策略。(2)为了防止同一个用户的作业独占队列中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。
(3)首先,计算每个队列中正在运行的任务数与其应该分得的计算资源之间的比值,选择一个该比值最小的队列——最闲的。
(4)其次,按照作业优先级和提交时间顺序,同时考虑用户资源量限制和内存限制对队列内任务排序。
(5)三个队列同时按照任务的先后顺序依次执行,比如,
job11
、job21
和job31
分别排在队列最前面,先运行,也是并行运行。 -
公平调度器(
Fair Scheduler
)
(1)支持多队列多用户,每个队列中的资源量可以配置,同一队列中的作业公平共享队列中所有资源。比如有三个队列:queueA
、queueB
和queueC
,每个队列中的job
按照优先级分配资源,优先级越高分配的资源越多,但是每个job
都会分配到资源以确保公平。(2)在资源有限的情况下,每个
job
理想情况下获得的计算资源与实际获得的计算资源存在一种差距,这个差距就叫做缺额。(3)在同一个队列中,
job
的资源缺额越大,越先获得资源优先执行。作业是按照缺额的高低来先后执行的,而且可以看到上图有多个作业同时运行。
五、任务的推测执行
-
作业完成时间取决于最慢的任务完成时间
一个作业由若干个
Map
任务和Reduce
任务构成。因硬件老化、软件Bug
等,某些任务可能运行非常慢。思考:系统中有
99%
的Map
任务都完成了,只有少数几个Map
老是进度很慢,完不成,怎么办? -
推测执行机制
发现拖后腿的任务,比如某个任务运行速度远慢于任务平均速度。为拖后腿任务启动一个备份任务,同时运行。谁先运行完,则采用谁的结果。
-
执行推测任务的前提条件
(1)每个
Task
只能有一个备份任务(2)当前
Job
已完成的Task
必须不小于0.05(5%)
(3)开启推测执行参数设置,
mapred-site.xml
文件中默认是打开的。<property> <name>mapreduce.map.speculative</name> <value>true</value> <description>If true, then multiple instances of some map tasks may be executed in parallel.</description> </property> <property> <name>mapreduce.reduce.speculative</name> <value>true</value> <description>If true, then multiple instances of some reduce tasks may be executed in parallel.</description> </property>
-
不能启用推测执行机制情况
(1)任务间存在严重的负载倾斜;
(2)特殊任务,比如任务向数据库中写数据。
-
推测执行算法原理
假设某一时刻,任务T的执行进度为
progress
,则可通过一定的算法推测出该任务的最终完成时刻estimateEndTime
。另一方面,如果此刻为该任务启动一个备份任务,则可推断出它可能的完成时刻estimateEndTime
`,于是可得出以下几个公式:estimatedRunTime =(currentTimestamp - taskStartTime) / progress 推测运行时间(60s) =(当前时刻(6) - 任务启动时刻(0)) / 任务运行比例(10%) estimateEndTime = estimatedRunTime + taskStartTime 推测执行完时刻 60 = 推测运行时间(60s) + 任务启动时刻(0) estimateEndTime` = currentTimestamp + averageRunTime 备份任务推测完成时刻(16)= 当前时刻(6) + 运行完成任务的平均时间(10s)
(1)MR总是选择(
estimateEndTime
-estimateEndTime
` )差值最大的任务,并为之启动备份任务。(2)为了防止大量任务同时启动备份任务造成的资源浪费,MR为每个作业设置了同时启动的备份任务数目上限。
(3)推测执行机制实际上采用了经典的优化算法:以空间换时间,它同时启动多个相同任务处理相同的数据,并让这些任务竞争以缩短数据处理时间。显然,这种方法需要占用更多的计算资源。在集群资源紧缺的情况下,应合理使用该机制,争取在多用少量资源的情况下,减少作业的计算时间。