YARN架构详解

MapReduce v1的不足

1. Jobtraker受内存限制，导致扩展性受限。因为其需要存储每个作业的信息。另一方面，其采用粗粒度的锁导致心跳时间边长。
2. 中心化架构的通病，一旦Jobtraker崩溃，会导致整个集群崩溃。
3. 以mapreduce为中心，MapReduce不支持其他的编程模型，如机器学习，图算法
4. tasktraker的Map 槽和Reduce槽是固定的，不是动态分配的资源。

Yarn(yet another resource negotiator)

ResurceManager(RM)：

RM是一个全局的资源管理器，集群只有一个，负责整个系统的资源管理和分配，包括处理客户端请求、启动/监控APP master、监控nodemanager、资源的分配与调度。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。

调度器

          调度器根据容量、队列等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。需要注意的是，该调度器是一个“纯调度器”，它不再从事任何与具体应用程序相关的工作，比如不负责监控或者跟踪应用的执行状态等，也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务，这些均交由应用程序相关的ApplicationMaster完成。调度器仅根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念“资源容器”（Resource Container，简称Container）表示，Container是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。此外，该调度器是一个可插拔的组件，用户可根据自己的需要设计新的调度器，YARN提供了多种直接可用的调度器，比如Fair Scheduler和Capacity Scheduler等。

应用程序管理器

            应用程序管理器负责管理整个系统中所有应用程序，包括应用程序提交、与调度器协商资源以启动ApplicationMaster、监控ApplicationMaster运行状态并在失败时重新启动它等。

App Master (ApplicationMaster(AM))：

1. 与RM协调资源与ＮＡ来协同工作来共同执行和监控container以其他们的资源消耗
2. 与ＲＭ协商获取合适资源的container，并获取其状态，监控其进程。
3. 可以为一个用于提供一个AppMaster，也可以为一组提供AppMaster，如pig, hive.

 

Container ：

1. 分配给具体应用的资源抽象表现形式，包括内存、cpu、disk

 

NodeManager(NM) 

1. 负责节点本地资源的管理，包括启动应用程序的Container，监控它们的资源使用情况，并报告给RM

 

客户端（Client）

1. 是集群中一个能向RM提交应用的实例，并且指定了执行应用所需要的AM类型

数据本地化的实现

数据节点和节点管理器NM运行在同一节点，保证数据块在本地。

客户端与资源管理器交互

应用管理器与节点管理器交互