Hadoop 集群资源管理系统YARN

Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是Hadoop的集群资源管理系统，YARN被引入Hadoop 2,最初是为了改善MapReduce的实现，但它具有的通用性，同样支持其他的分布式应用。
在MapReduce 1中，有两类守护进程控制着作业执行过程，一个jobtracker及一个或者多个tasktracker。jobtracker通过调度tasktracker上运行的任务协调运行在系统上的作业，tasktracker在运行任务的同时将运行进度报告发送给jobtracker，jobtracker有此记录每项任务作业的整体进度情况。如果其中一个任务失败，jobtracker可以在另一个tasktracker节点上重新调度该任务。
jobtracker同时负责作业调度（将任务与tasktracker匹配）和任务进度监控（跟踪任务，重启失败或者迟缓的任务；记录任务流水，如维护），jobtracker也负责存储已完成作业的作业历史
YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。YARN的主要架构如下：
ResourceManager（RM）：
RM是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。