hadoop Yarn

一 简介：

在Hadoop1.0

   1 JobTrcaker    任务调度(分配Maptasker和ReduceTask 并监控任务的执行情况)和   资源管理(job执行)

   2 TaskTracker  任务执行

在Hadoop2.0

yarn   ResourceManager （资源管理  ：负责资源的监控） --ApplicationManager  Schedular

         ApplicationMaster  任务调度

         NodeManager   任务执行  ---MapTask  ReduceTask

 

Yarn的执行流程：

  1 将job任务提交ResourceManager,在子组件ApplicationManager 会为job任务分配执行所要的资源(内存和CPU的核数)，将分配的资源转到Container对象中

 

核心思想

1. 将JobTracker和TaskTacker进行分离，它由下面几大构成组件：
   1. 一个全局的资源管理器 ResourceManager
   1. ResourceManager的每个节点代理 NodeManager
   1. 表示每个应用的 ApplicationMaster
   1. 每一个ApplicationMaster拥有多个Container在NodeManager上运行

 

 

 

 

 

假设每个节点都是8G 8核，在默认情况，当前最多能分配24个