Hadoop YARN

YARN的基本原理是，将资源管理和作业调度/监控的功能分离成独立的守护进程。也就是说，有一个全局的ResourceManager(RM)，以及每个应用有一个ApplicationMaster(AM)。一个应用可以是单个的作业，也可以是一个作业有向无环图。

ResourceManager和NodeManager组成数据计算框架。在系统中，所有应用的资源分配由ResourceManager负责。每台机器是一个NodeManager，它负责监控container的资源使用（cpu，内存，磁盘，网络），并向ResourceManager/Scheduler报告。

实际上，每个应用的ApplicationMaster是一个特定库的框架，负责与ResourceManager协商资源，并监控和协调NodeManager执行任务。

ResourceManager有两个主要的组成部分：Scheduler和ApplicationsManager。

Scheduler负责分配资源，Scheduler不监控或追踪应用的状态。所以，它也不负责重启由于应用失败或硬件错误导致的失败任务。Scheduler基于应用的资源请求来执行分配功能。它是基于Container来分配内存、cpu、磁盘和网络等资源。

Scheduler有一个插拔式的策略，这个策略是，在各种队列、应用中，能够对集群资源进行分区。当前支持的插拔的调度有CapacityScheduler和FairScheduler。

ApplicationsManager负责接收作业提交请求，协调指定执行应用的第一个con