[ hadoop] Yarn架构

bone_ds

已于 2022-03-18 11:16:12 修改

阅读量3.9k

点赞数

分类专栏： hadoop 文章标签： hadoop 架构 big data

于 2022-03-16 16:43:39 首次发布

本文链接：https://blog.csdn.net/jason_bone_/article/details/123530148

版权

hadoop 专栏收录该内容

5 篇文章 2 订阅

订阅专栏

Yarn概述

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

基础架构

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。

ResourceManager:整个集群资源的老大

NodeManager:单节点资源的老大

ApplicationMaster:单个作业任务的老大

Container:容器

Yarn工作机制

以下流程以2个切片,两个分区为例(4大步,14小步):

客户端所在节点执行Jar包中的程序(MR程序),执行驱动类中main方法末尾的waitForCompletion()底层创建YarnRunner,正式运行Yarn;
YarnRunner向ResourceManager申请一个Application
RM返回给YarnRunner该job资源的提交路径和作业id
驱动类中的程序底层job.submit()将资源(三个文件:切片,配置,程序Jar包)提交到集群,为第8步做准备
资源提交完毕,向RM申请运行mrAppMaster | 1-5为作业提交
RM将用户的请求初始化成一个job,添加到容量调度器中.
一个NodeManager领取job后创建容器Container,并产生MRAppmaster
Container从HDFS上拷贝资源到本地 | 6-8为作业初始化
MRAppmaster向RM申请运行MapTask资源
RM将MapTask任务分给另两个NodeManager,这两个NodeManager分别领取任务并创建容器 | 9-10为任务分配
MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序
MrAppMaster等待所有MapTask运行完毕后(也可修改ReduceTask运行时机)，向RM申请容器，运行ReduceTask。
ReduceTask向MapTask获取相应分区的数据。
程序运行完毕后，MR会向RM申请注销自己。| 11-14为任务运行

收尾:

此外,AppMaster负责收集Yarn中任务进度和状态(也有容器的),反馈给客户端
客户端本身也能通过程序的waitForCompletion()检查作业是否完成
作业完成后,APPMaster和容器将被清理和释放
历史服务器将保留作业信息以备核查

Yarn调度器

Hadoop作业调度器目前主要三种:FIFO,容量(Capacity Scheduler),和公平(Fair Scheduler)
Apache Hadoop3.1.3(本例)默认是容量调度器
CDH框架默认是公平调度器

FIFO

FIFO调度器/First In First Out/先进先出调度器:顾名思义,单队列,根据作业提交先后顺序,先来先服务,可连续提交任务,直到新提交的任务申请不到资源为止.

由于该调度器不支持多队列,生产环境很少使用,但其FIFO调度策略可使用于一个队列

容量调度器

Capacity Scheduler是Yahoo开发的多用户调度器

特点

可为每个队列配置一定资源量,每个队列采用FIFO调度策略
管理员可设置每个队列的资源使用下限和上限
灵活:队列的空闲资源可借用给紧缺的队列,但job提交后回收借调的资源
多用户:

支持多用户共享集群和多job同时运行

该调度器对同一用户提交的job所占资源进行限定,防止一个人的job独占队列的资源

资源分配算法

队列间资源分配:

使用深度优先算法,为资源占用率最低的队列优先分配资源
作业间资源分配(同一队列):

先按优先级大小后按提交时间先后
容器间资源分配:

job拿到资源,先按容器的优先级;

相同之后,使用数据本地性原则:

1)数据在任务的节点本地

2)数据在任务节点的机架

3)无所谓了

总结:

队列间并行运行
一个队列里按job优先级和job提交先后
队列占集群总资源有上限,同一用户提交的job占用也有上限

公平调度器

Fair Schedulere是Facebook开发的多用户调度器

该调度器分配原则:

公平
公平
还是tnd公平
总结就是:有资源大家先均分,然后按额定好的多退少补

与容量调度器相同点	不同点
多队列	核心调度策略(资源利用率 / 缺额比例)
队列容量保证(上下限)	单队列资源分配方式(FIFO,DRF / FIFO,FAIR,DRF)
灵活性(借调和归还)
多租户(共享集群和多job并行,限定单用户最大占用资源)

缺额

缺额:某一时刻一个作业应获资源和实际得到的差距

公平调度器就是以弥补这一缺额为目标,因此,调度器优先为缺额大的job分配

队列资源分配方式

FIFO策略:如果使用FIFO策略,此时公平调度器就成为容量调度器
FAIR策略:

从选择队列–>选择作业–>选择容器

每一步都按照公平策略分配资源[如下图]

1)实际最小资源份额：mindshare = Min（资源需求量，配置的最小资源）

2)是否饥饿：isNeedy = 资源使用量 < mindshare（实际最小资源份额）

3)资源分配比：minShareRatio = 资源使用量 / Max（mindshare, 1）

4)资源使用权重比：useToWeightRatio = 资源使用量 / 权重

资源分配算法

队列资源分配(多退少补):
作业资源分配:
DRF策略

以上分配只考虑内存,DRF则考虑了多种资源,包括:内存,CPU,网络带宽等

Yarn常用命令

命令	功能
yarn application -list	列出所有Application
yarn application -list -appStates	根据Application状态过滤
yarn application -kill < ApplicationId >	Kill掉Application
yarn logs -applicationId < ApplicationId >	查询Application日志
yarn logs -applicationId < ApplicationId > -containerId < ContainerId >	查询Container日志
yarn applicationattempt -list < ApplicationId >	查看尝试运行的任务(排查)
yarn applicationattempt -status < ApplicationAttemptId >	打印ApplicationAttemp状态
yarn container -list < ApplicationAttemptId >	列出所有Container
yarn container -status < ContainerId >	打印Container状态(任务跑的途中才能看到)
yarn node -list -all	列出所有节点
yarn rmadmin -refreshQueues	加载队列配置(动态修改)
yarn queue -status < QueueName >	打印队列信息

结合生产环境

根据生产环境下并发度选择调度器:公平/容量

容量调度器多队列

按照框架/模块创建队列
多队列好处:

防止菜鸟提交死龟job,耗尽集群资源

实现任务的降级使用，特殊时期保证重要的任务队列资源充足
默认的任务提交都是提交到default队列的
-D mapreduce.job.queuename=队列名,向其他队列提交任务,如果程序不允许添加此参数,1:在Driver类中设置;2:使用Tool接口
单队列资源紧张时，优先级高的任务将优先获取资源
提交时使用参数设置job优先级:-D mapreduce.job.priority=5

或者修改正在执行的任务的优先级:

yarn application -appID < ApplicationID > -updatePriority 优先级