【无标题】

1.Yarn定义

• Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）
• 一种新的Hadoop资源管理器，一个通用资源管理系统
• 为上层提供统一的资源管理与任务调度及监控，提高了集群管理效率、资源使用率、数据共享效率

 

MRv1包括三个部分：运行时环境(JobTracker和TaskTracker)、编程模型(MapReduce)和数据处理引擎(Map任务和Reduce任务)。

JobTracker主要功能：

• 资源管理，协调平衡集群中的计算节点，合理分配。
• 任务调度，一个作业对应多个任务，负责任务调度、状态监控、容错管理等。

TaskTracker主要功能：

• 执行任务，响应JobTracker命令，如启动、停止任务等

汇报心跳：汇报节点健康状况、资源使用情况等。汇报任务执行进度、任务运行状态等。

MRv1存在的主要问题：

• JobTracker单点故障，如果它挂掉，整个系统无法运转
• JobTracker负载过重，限制了集群扩展，随着节点规模的增大，成为集群的瓶颈
• 仅支持MR计算框架，适合批处理、基于磁盘的计算
• 资源与计算没有很好的解耦设计，一个集群只能使用一个计算框架，如Hadoop&MapReduce集群、Spark集群、Tez集群等。造成管理复杂、资源利用率低的难题

2.Yarn特点

• 资源管理与计算框架解耦设计，一个集群资源共享给上层各个计算框架，按需分配，大幅度提高资源利用率
• 运维成本显著下降，只需运维一个集群，同时运行满足多种业务需求的计算框架
• 集群内数据共享一致，数据不再需要集群间拷贝转移，达到共享互用
• 避免单点故障、集群资源扩展得到合理解决

3.Yarn架构设计

4.基本组成

YARN总体上仍然是Master/Slave结构，在整个资源管理框架中，ResourceManager为Master，NodeManager为Slave。YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等几个组件构成。

4.1概略介绍

• Master/Slave结构，1个ResourceManager和多个NodeManager
• Yarn由Client、ResourceManager、NodeManager、ApplicationMaster组成
• Client向ResourceManager提交启动任务、杀死任务等命令请求
• ApplicationMaster由对应的计算框架编写的应用程序完成。每个应用程序对应一个ApplicationMaster，ApplicationMaster向ResourceManager申请资源用于在NodeManager上启动相应的Task
• NodeManager向ResourceManager通过心跳信息汇报NodeManager监控状况、任务执行状况、领取任务等

4.2详细介绍

• Client：面向用户提交的Driver代码，作为用户编程的接口，与ResourceManager交互。
• ResourceManager：整个集群只有一个是存活(active)的，负责集群资源的统一管理和调度

1. 负责整个集群的资源分配和调度
2. 处理来自客户端的请求，启动、杀死应用程序
3. 启动、监控ApplicationMaster，一旦一个AM挂了之后，RM将会在另一个NodeManager上启动该AM
4. 监控NodeManager，接收NM的心跳汇报信息，获取NM的资源使用情况和Container运行状态

• NodeManager：整个集群中有多个，负责单节点资源管理和使用。

1. 负责单个节点上的资源管理和任务调度
2. 处理来自ApplicationMaster的命令
3. 接收并处理来自ResourceManager的Container启动、停止的各种命令，主要是对ApplicationMaster相关的操作。
4. 周期性向ResourceManager汇报本节点上的资源使用情况和Container的运行状态

• ApplicationMaster：每个应用程序特有，负责应用程序的管理

1. 数据切分
2. 为应用程序/作业向ResourceManager申请资源(Container)，并分配给内部任务
3. 与NodeManager通信以启动、停止任务
4. 任务监控和容错(在任务执行失败时重新为该任务申请资源以重启任务)
5. 处理ResourceManager发来的命令，让NodeManager重启任务、杀死Container等

• Container：对任务运行环境的抽象

1. 任务运行资源的抽象，封装了某个节点上的多维度资源，如内存、cpu、磁盘、网络等
2. 任务命令启动、停止的执行单元
3. 任务运行环境，任务运行在Container中，一个Container中既可以运行ApplicationMaster也可以运行具体的MapReduce、MPI、Spark等任务

 5.运行流程

 

• 客户端提交了一个application
• 所有任务都完成之后AM向RM申请注销自己
• Task运行完成之后给AM汇报心跳
• NM接受到AM的指令，启动对应的Task
• AM申请到资源之后，给NM下达指令，开启任务
• AM注册到RM里，申请资源
• NM接受到了指令，创建一个Container运行AM
• RM分配资源，给NM下一个指令开启AM

6.常用调度

6.1先进先出

默认的调度策略，把用户提交的作业顺序排成一个队列，所有用户共享，是一个先进先出的队列。

无法控制用户的资源使用，大的应用可能会占用所有集群资源，导致其他应用被阻塞，造成集群的可用性差，所以不适用于共享集群。一般不在生产环境中使用。

6.2容器调度器

允许多用户共享整个集群，每个用户或组织分配专门的队列，不支持抢占式。队列内部默认使用FIFO，也支持Fair调度。

6.3公平调度器

目标是为所有用户分配公平的资源。也支持多用户共享集群，也可划分多队列。队列内部不是FIFO，而是采用公平分配的方式。

调度名称	特点
FIFO Scheduler	默认的队列内部调度器，只有一个队列，所有用户共享 ,简单好理解，无法控制用户的资源使用，造成集群的可用性很差。一般不在生产环境使用。
Capacity Scheduler	多用户、分队列、ACL控制、不支持抢占式，队列内部依然是FIFO,也可以采用Fair
Fair Scheduler	多用户、分队列、ACL控制、支持抢占式，队列内部不是FIFO，而是公平分配的方式