一、Yarn简介
1、Yarn是什么
- Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)
- 一种新的Hadoop资源管理器,一个通用资源管理系统
- 为上层提供统一的资源管理与任务调度及监控,提高了集群管理效率、资源使用率、数据共享效率
2、产生背景
在Hadoop1.x中MapReduce是Master/Slave结构,在集群中的表现形式为:1个JobTracker带多个TaskTracker,我们称之为MRv1。
Master:是整个集群的唯一全局管理者,功能包括:作业管理、状态监控和任务调度等即MapReduce中的JobTracker。
Slave:负责任务的执行和任务状态的汇报,即MapReduce中的TaskTracker。
MRv1包括三个部分:运行时环境(JobTracker和TaskTracker)、编程模型(MapReduce)和数据处理引擎(Map任务和Reduce任务)。
JobTracker主要功能:
- 资源管理,协调平衡集群中的计算节点,合理分配。
- 任务调度,一个作业对应多个任务,负责任务调度、状态监控、容错管理等。
TaskTracker主要功能:
- 执行任务,响应JobTracker命令,如启动、停止任务等
汇报心跳:汇报节点健康状况、资源使用情况等。汇报任务执行进度、任务运行状态等。
MRv1存在的主要问题:
- JobTracker单点故障,如果它挂掉,整个系统无法运转
- JobTracker负载过重,限制了集群扩展,随着节点规模的增大,成为集群的瓶颈
- 仅支持MR计算框架,适合批处理、基于磁盘的计算
- 资源与计算没有很好的解耦设计,一个集群只能使用一个计算框架,如Hadoop&MapReduce集群、Spark集群、Tez集群等。造成管理复杂、资源利用率低的难题
3、Yarn特点
- 资源管理与计算框架解耦设计,一个集群资源共享给上层各个计算框架,按需分配,大幅度提高资源利用率
- 运维成本显著下降,只需运维一个集群,同时运行满足多种业务需求的计算框架
- 集群内数据共享一致,数据不再需要集群间拷贝转移,达到共享互用
- 避免单点故障、集群资源扩展得到合理解决
二、Yarn架构设计
1、架构设计图
Yarn设计的核心思想是将JobTracker的两个主要职责:资源管理和任务调度管理,分别交给两个角色负责。
一个是全局的ResourceManager,一个是每个应用中唯一的ApplicationMaster。
ResourceManager以及每个节点一个的NodeManager构成了新的通用系统,实现以分布式方式管理应用。
2、基本组成
YARN总体上仍然是Master/Slave结构,在整个资源管理框架中,ResourceManager为Master,NodeManager为Slave。YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件构成。
2.1概略介绍
- Master/Slave结构,1个ResourceManager和多个NodeManager
- Yarn由Client、ResourceManager、NodeManager、ApplicationMaster组成
- Client向ResourceManager提交启动任务、杀死任务等命令请求
- ApplicationMaster由对应的计算框架编写的应用程序完成。每个应用程序对应一个ApplicationMaster,ApplicationMaster向ResourceManager申请资源用于在NodeManager上启动相应的Task
- NodeManager向ResourceManager通过心跳信息汇报NodeManager监控状况、任务执行状况、领取任务等
2.2详细介绍
- Client:面向用户提交的Driver代码,作为用户编程的接口,与ResourceManager交互。
- ResourceManager:整个集群只有一个是存活(active)的,负责集群资源的统一管理和调度
- 负责整个集群的资源分配和调度
- 处理来自客户端的请求,启动、杀死应用程序
- 启动、监控ApplicationMaster,一旦一个AM挂了之后,RM将会在另一个NodeManager上启动该AM
- 监控NodeManager,接收NM的心跳汇报信息,获取NM的资源使用情况和Container运行状态
- NodeManager:整个集群中有多个,负责单节点资源管理和使用。
- 负责单个节点上的资源管理和任务调度
- 处理来自ApplicationMaster的命令
- 接收并处理来自ResourceManager的Container启动、停止的各种命令,主要是对ApplicationMaster相关的操作。
- 周期性向ResourceManager汇报本节点上的资源使用情况和Container的运行状态
- ApplicationMaster:每个应用程序特有,负责应用程序的管理
- 数据切分
- 为应用程序/作业向ResourceManager申请资源(Container),并分配给内部任务
- 与NodeManager通信以启动、停止任务
- 任务监控和容错(在任务执行失败时重新为该任务申请资源以重启任务)
- 处理ResourceManager发来的命令,让NodeManager重启任务、杀死Container等
- Container:对任务运行环境的抽象
- 任务运行资源的抽象,封装了某个节点上的多维度资源,如内存、cpu、磁盘、网络等
- 任务命令启动、停止的执行单元
- 任务运行环境,任务运行在Container中,一个Container中既可以运行ApplicationMaster也可以运行具体的MapReduce、MPI、Spark等任务。
三、Yarn调度策略
1、MRv1的调度方式
集中式调度器,资源调度和应用程序的管理功能集中到单一进程完成,扩展性差。
- 集群规模受限,集群达到一定规模(4000个节点)后,JobTracker压力过大容易发生单点故障
- 新的调度策略难以融入到现有代码中,之前仅支持MapReduce作业,现在要支持Spark等作业,而将新的作业的调度策略加入到集中式调度中是极难的工作
2、Yarn双层调度架构
为了克服集中式调度器的不足,双层调度器是一种很容易被想到的解决之道,它可看作是一种分而治之的机制或者是策略下放机制:双层调度器仍保留一个精简化的集中式资源调度器,但具体任务相关的调度策略则下放到各个应用程序调度器完成。
- 将传统的集中式调度器一分为二,即资源调度器(ResourceManager)和应用程序调度器(ApplicationMaster)
- ResourceManager即简化了的集中式资源调度器,具体作业的资源调度和管理由应用程序调度器ApplicationMaster负责
3、常用调度策略
3.1 FIFO Scheduler(First In First Out,先进先出)
默认的调度策略,把用户提交的作业顺序排成一个队列,所有用户共享,是一个先进先出的队列。
无法控制用户的资源使用,大的应用可能会占用所有集群资源,导致其他应用被阻塞,造成集群的可用性差,所以不适用于共享集群。一般不在生产环境中使用。
3.2 Capacity Scheduler(容器调度器)
允许多用户共享整个集群,每个用户或组织分配专门的队列,不支持抢占式。队列内部默认使用FIFO,也支持Fair调度。
3.3 Fair Scheduler(公平调度器)
目标是为所有用户分配公平的资源。也支持多用户共享集群,也可划分多队列。队列内部不是FIFO,而是采用公平分配的方式。
四、Yarn 命令
直接输入 yarn 回车即可查看 yarn 的一级命令:yarn,显示出可用的命令列表
查看版本信息:yarn version
使用 yarn 命令提交 jar 包:
yarn jar jarName mainClassPath -Dk1=v1 -Dk2=v2 inputPath outputPath
获取 yarn 运行时的 classpath 值:yarn classpath
查看所有 application 列表信息:yarn application -list
杀掉指定的 application,使用命令:yarn application -kill app-id
查看 yarn 的当前资源使用情况:yarn top
五、容错性说明
- ResourceManager(RM) Failure
同时启动多个RM,基于Zookeeper实现HA避免单点故障,但同时只有一个是active状态
- ApplicationMaster(AM) Failure
ApplicationMaster挂掉后,由ResourceManager负责重启。ResourceManager的ApplicationsManager模块会保存已经完成的Task,重启后无需重新运行。ApplicationMaster需要处理内部任务的容错问题,如Task Failure。
- NodeManager(NM) Failure
若包含Task计算任务执行失败后,ApplicationMaster决定处理方法。若包含AM任务,则由RM重启一个新的Container运行AM。
- Task Failure
通过心跳把信息反馈给AM,或者心跳超时被AM感知,由AM通过重试恢复Task。