一 简介:
在Hadoop1.0
1 JobTrcaker 任务调度(分配Maptasker和ReduceTask 并监控任务的执行情况)和 资源管理(job执行)
2 TaskTracker 任务执行
在Hadoop2.0
yarn ResourceManager (资源管理 :负责资源的监控) --ApplicationManager Schedular
ApplicationMaster 任务调度
NodeManager 任务执行 ---MapTask ReduceTask
Yarn的执行流程:
1 将job任务提交ResourceManager,在子组件ApplicationManager 会为job任务分配执行所要的资源(内存和CPU的核数),将分配的资源转到Container对象中
核心思想
- 将JobTracker和TaskTacker进行分离,它由下面几大构成组件:
- 一个全局的资源管理器 ResourceManager
- ResourceManager的每个节点代理 NodeManager
- 表示每个应用的 ApplicationMaster
- 每一个ApplicationMaster拥有多个Container在NodeManager上运行
假设每个节点都是8G 8核,在默认情况,当前最多能分配24个