hadoop集群资源管理系统YARN以及YARN的运行原理

一.简介：

YARN (Yet Another Resource Negotiator)

1.  (官网解释)最基本的思想是纱线拆分功能的资源管理与作业调度/监控到单独的进程。具体设想是全球(ResourceManagerRM)和每应用程序(applicationmasterAM)。应用程序是一个单一的DAG或作业的作业。

2.在hadoop 1.x中jobtracker负责作业的调度（将任务与tasktracker匹配）和任务进度监控（跟踪任务，重启失败或延迟的任务；记录任务流水，如维护计数器的计数）而到了hadoop2.x中 出现了yarn这一独立的服务来专门管理这些，大体结构如下

二.yarn的架构

当我们在搭建好的集群中运行hdfs和yarn的时候jps查看进程发现（见下图）

我们发现 其中ResourceManager运行在主节点master上而nodemanager运行在从节点datanode上，所以我们可以理解为它的设计思想跟namenode与datanode的关系有些相似 可以理解为从中央到地方之间的关系，中央管理着地方，地方想要做什么要跟中央去申请。下边我来具体介绍一下这些进程

1.ResourceManager:
    资源管理器，是yarn的主