yarn资源调度器

Yarn简介

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

Yarn基础架构

YARN主要由ResourceManager、NodeManager、ApplicationMaster和 Container等组件。

1. ResourceManager:管理整个集群资源调度。
   处理客户端的请求
   监控NodeManage
   启动和监控ApplicationMaster
   资源的分配和调度

2. NodeManager：
   管理单个节点上的资源
   处理来自ResourceManager的命令
   处理来自ApplicationMaster的命令

3. ApplicationMaster
   负责数据的切分
   为应用程序申请资源并分匹配给内部的任务
   任务的监控和容错

4. Container
   封装某个节点上的多维度资源

Yarn的工作机制

资源调度器

目前，Hadoop 作业调度器主要有三种:FIFO ，Capacity Scheduler和 Fair Scheduler.
hadoop2.7.2默认的资源调度器是Capacity Scheduler。