Yarn 基础知识扫盲

Yarn 基础知识扫盲(一)

前言

笔者自己以前一直在做实时开发方面的工作，对Yarn 其实并不是很了解，只是简单用而已。但最近的工作中要开始涉及这里的使用。所以准备重新学习下，并记录下来。

思考：如何管理集群资源？
如何给任务合理分配资源？
Yarn 就是解决上述问题的产物。Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce、Spark、Flink 等运算程序则相当于运行于操作系统之上的应用程序。

1.1 Yarn 基础架构

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。

1.2 Yarn 工作机制

（1）MR程序提交到客户端所在的节点。
（2）YarnRunner向ResourceManager申请一个Application。
（3）RM将该应用程序的资源路径返回给YarnRunner。
（4）该程序将运行所需资源提交到HDFS上。
（5）程序资源提交完毕后，申请运行mrAppMaster。
（6）RM将用户的请求初始化成一个Task。
（7）其中一个NodeManager领取到Task任务。
（8）该NodeManager创建容器Container，并产生MRAppmaster。
（9）Container从HDFS上拷贝资源到本地。
（10）MRAppmaster向RM 申请运行MapTask资源。
（11）RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
（12）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
（13）MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
（14）ReduceTask向MapTask获取相应分区的数据。
（15）程序运行完毕后，AM会向RM申请注销自己。

1.3 作业提交全过程(MR)

（1）作业提交
第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
第2步：Client向RM申请一个作业id。
第3步：RM给Client返回该job资源的提交路径和作业id。
第4步：Client提交jar包、切片信息和配置文件到指定的资源提交路径。
第5步：Client提交完资源后，向RM申请运行MrAppMaster。
（2）作业初始化
第6步：当RM收到Client的请求后，将该job添加到容量调度器中。
第7步：某一个空闲的NM领取到该Job。
第8步：该NM创建Container，并产生MRAppmaster。
第9步：下载Client提交的资源到本地。
（3）任务分配
第10步：MrAppMaster向RM申请运行多个MapTask任务资源。
第11步：RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
（4）任务运行
第12步：AppMaster向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。
第13步：MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
第14步：ReduceTask向MapTask获取相应分区的数据。
第15步：程序运行完毕后，mrAppMaster会向RM申请注销自己。
（5）进度和状态更新
YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。
（6）作业完成
除了向应用管理器请求作业进度外, 客户端每5秒都会通过调用waitForCompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval来设置。作业完成之后, 应用管理器和Container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。

1.4 Yarn 调度器和调度算法

如上所述，Client 向RM提交作业（Task），在分布式环境中肯定是多客户端提交任务。Task 多了后RM 把他放到任务队列中，让任务队列来管理任务。主要是管理哪个任务先执行，每个任务分配多少资源，有几个并发的任务能运行，都由作业调度器决定。

目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache 默认的资源调度器是Capacity Scheduler。CDH框架默认调度器是Fair Scheduler。
具体设置详见：yarn-default.xml文件

<property>
    <description>The class to use as the resource scheduler.  </description>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value> 
</property>

1.4.1 先进先出调度器（FIFO）

FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。

优点：简单易懂；
缺点：不支持多队列，生产环境很少使用；

1.4.2 容量调度器（Capacity Scheduler）

Capacity Scheduler是Yahoo开发的多用户调度器。

1.多队列：每个队列可配置一定的资源量,每个队列采用FIFO调度策略。
2.容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
3.灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦队列有新的应用程序提交，则会按第一优先级把借调的资源强回来
4.多租户：
支持多用户共享集群和多应用程序同时运行。
为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限制

1.4.2.1 容量调度器资源分配算法

1.队列资源分配:
从root 开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源。
2.作业资源分配:
默认按提交作业的优先级和提交时间顺序分配资源
3.容器资源分配:
按容器优先级分配资源,若优先级相同,按数据本地性原则:
1.任务和数据在同一节点
2.任务和数据在同一机架
3.任务和数据不在同一节点也不在同一机架

1.4.3 公平调度器（Fair Scheduler）

Fair Schedulere是Facebook开发的多用户调度器。

与容量调度器相同点：
1.多队列：支持多队列多任务
2.容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
3.灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦队列有新的应用程序提交，则会按第一优先级把借调的资源强回来
4.多租户：支持多用户共享集群和多应用程序同时运行。为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限制

与容量调度器不同点：
1.核心调度策略不同
容量调度器：优先选择资源利用率低的队列
公平调度器：优先选择对资源的缺额比例大的

缺额 ：某一时刻一个作业应获取资源和实际获取资源的差距叫缺额。调度器会优先为缺额大的作业分配资源

2.每个队列可以单独设置资源分配方式
容量调度器：FIFO,DRF
公平调度器：FIFO,FAIR,DRF

1.4.3.1 公平调度器资源分配算法

实际最小资源份额：mindshare=Min(资源需求量，配置的最小资源) 是否饥饿：isNeedy=资源使用量
<实际最小资源份额：mindshare(实际最小资源份额) 资源分配比：mindshareRatio=资源使用量/Min(资源需求量，1)
资源使用权重比：useToWeightRatio=资源使用量/权重

Fair 策略（默认）是一种基于最大最小公平算法时间的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。
这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源，如果三个应用程序就是1/3资源。