Yarn工作机制

1.1Yarn的工作机制
1、MR程序提交到客户端所在的节点，向ResourceManager申请一个Application
2、Yarn返回一个临时目录staging和application_id
3、客户端提交job需要的资源，放到对应的临时目录下
4、资源提交完毕，申请运行mrAppMaster
5、将用户请求初始化成一个Task
6、ResourceManager会指派一个NodeManager去队列中领取Task任务
7、在NodeManager上创建一个容器Container（包含CPU和ram）去执行MRAppMaster
8、MRAppMaster读取job的信息，根据内容向ResourceManager申请MapTask容器 ，有几个切片就会生成几个MapTask
9、有NodeManager领取到任务，创建容器
10、mrAppmaster发送程序脚本给容器，处理任务，然后和Mapper对接
11、资源回收，向RM申请容器，运行ReduceTask程序，Reduce向Map获取分区数据
1.2 队列里面的容量调度器特点
1.2.1FIFO（先进先出队列）
单队列，根据提交作业的先后顺序，先来先服务
1.2.2容量调度器
1、多队列：每个队列可以配置一定的资源，但是每个队列单独采用的还是FIFO调度策略
2、容量：管理员为每个队列设置资源的最低保证和使用上限（yarn-site.xml）
3、灵活性：如果队列中的资源有剩余，可以暂时共享给其他队列，但是如果本队列有资源需求，会立刻收回资源
4、多租户：支持多用户共享集群和多应用程序同时运行
容量调度器资源分配资源
队列资源分配：优先选择资源占用率最低的队列分配资源
作业资源分配：默认按照提交作业的优先级和提交时间顺序分配资源
容器资源分配：按照容器的优先级分配资源，如果优先级相同按照数据本地性原则
1.2.3公平调度器
同队列所有任务共享资源，在时间尺度上获得公平的资源
与容量调度器的不同点：
容量调度器：优先选择资源利用率低的队列
公平调度器：优先选择对资源缺额比例大的队列

DRF策略（Dominant Resource Fairness）
对不用应用进行不同资源（CPU和内存）的一个不同比例的限制