Hadoop之Yarn(一)

一.概述

1. Yarn是Hadoop的资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在资源利用率,资源统一管理和数据共享等方面带来了巨大好处.
2. Yarn的基本思想是将JobTracker的两个主要功能分离(资源管理和作业调度/监控),主要方法时创建一个全局的ResourceManager和若干个针对应用程序的ApplicationMaster.这里的应用程序是指传统的MapReduce作业.
3. Yarn分层结构的本质是ResourceManager.这个实体控制整个集群并管理应用程序向基础计算资源的分配.ResourceManager将各个资源部分(内存,宽带等)精心安排给基础NodeManager.
4. ResourceManager还与ApplicationMaster一起分配资源,与NodeManager一起启动和监控他们的基础应用程序.ApplicationMaster承担了以前的TaskTracker的一些角色,ResourceManager承担了JObTracker的角色.
5. ApplicationMaster管理一个在Yarn内运行的应用程序的每个实例.ApplicationMaster负责协调来自ResourceManager的资源,并通过NodeManager监视容器的执行和资源使用(CPU,内存等的资源分配).

二.核心思想

将JobTracker和TaskTacker进行分离

1. 一个全局的资源管理器ResourceManager
2. ResourceManager的每个节点代理NodeManager
3. 表示每个应用的ApplicationMaster
4. 每一个ApplicationMaster拥有多个Container在NodeManager上运行

三.常见参数

1. yarn.nodemanager.resource.memory-mb
2. yarn.nodemanager.resource.cpu-vcores
3. yarn.scheduler.minimum-allocation-mb
4. yarn.scheduler.maximum-allocation-mb
5. yarn.scheduler.minimum-allocation-vcores
6. yarn.scheduler.maximum-allocation-vcores
7. mapreduce.map.memory.mb
8. mapreduce.reduce.memory.mb
9. yarn.resourcemanager.scheduler.class