Yarn资源调度

yarn的介绍

yarn是我们hadoop2.x当中引进的一个新的模块，主要用于管理我们集群当中的资源
内存 cpu
yarn不光管理硬件资源，还管理运行的一些任务信息等

yarn的调度可以分为两个层级来说

一级管理调度：
管理计算机的资源
运行的job任务的生命周
二级管理调度：
任务的计算模型
多样的化的计算模型 storm spark

yarn集群当中的各个组件的作用

resourcemanager：主节点，接收用户的请求，分配资源
nodemanager：从节点，主要用于处理任务的计算
appmaster：每提交一个任务，启动一个appmaster，全权负责管理任务的执行
主要职责：申请资源
分配资源（分配container）
监控任务执行的任务进度状况
回收资源，将container占用的资源，全部回收掉
container：资源分配的单位，所有的资源都是以container的形式来进行划分的，便于资源的分配和回收
jobhistory：历史完成任务的日志信息

yarn的架构

yarn当中的调度器

调度器主要解决的是任务先后提交，如何保证任务最快执行的一种策略
研究的是任务之间如何一起执行的问题

hadoop当中的三种调度器
1；FIFO 队列调度器 先进先出
第一个任务来了，先执行，第二个任务来了，等着
如果一个很大的计算任务先来，需要执行两个小时，再来一个小任务，需要执行两分钟
第二种 容量调度器
apache的hadoop版本默认使用的
将我们集群的资源，划分成好几个队列
3 4 3
任务提交的时候，可以选择不同的队列来进行提交
根据提交的任务需要的资源大小不同，可以将我们的任务，划分到不同的队列下面
第三种：公平调度器
cdh版本的hadoop默认的调度规则

如果没有任务提交，第一个任务过来，将集群当中所有的资源全部给第一个任务
第二个任务来了，将第一个任务的资源划分出一点给第二个任务，保证第二个任务也可以一起执行
保证每一个任务都可以公平的一起执行

使用哪种调度器取决于yarn-site.xml当中的
yarn.resourcemanager.scheduler.class 这个属性的配置

yarn常用参数设置

修改参数的配置文件: yarn-site.xml

第一个参数：container分配最小内存
yarn.scheduler.minimum-allocation-mb 1024 给应用程序container分配的最小内存
第二个参数：container分配最大内存
yarn.scheduler.maximum-allocation-mb 8192 给应用程序container分配的最大内存
第三个参数：每个container的最小虚拟内核个数
yarn.scheduler.minimum-allocation-vcores 1 每个container默认给分配的最小的虚拟内核个数
第四个参数：每个container的最大虚拟内核个数
yarn.scheduler.maximum-allocation-vcores 32 每个container可以分配的最大的虚拟内核的个数
第五个参数：nodeManager可以分配的内存大小
yarn.nodemanager.resource.memory-mb 8192 nodemanager可以分配的最大内存大小，默认8192Mb

定义交换区空间可以使用的大小（交换区空间就是讲一块硬盘拿出来做内存使用）
这里指定的是nodemanager的n内存的2.1倍
yarn.nodemanager.vmem-pmem-ratio 2.1