＜Zhuuu_ZZ＞分布式资源调度框架YARN

一.yarn概述

• YARN(Yet Another Resource Negotiator)核心思想是将资源管理和任务的监控和调度分离
  • 通用的资源管理系统，可为不同的应用 （MapReduce、Spark、Flink等）提供统一的资源管理和调度
  • 它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处

二.基本架构核心组件

• YARN的架构是master/slaves的主从架构
  • master:ResourceManager->全局资源管理
    • 负责集群全局统一的资源管理、调度、分配
  • slave:NodeManager->节点资源管理器
    • 启动了NodeManager进程的节点
    • 负责管理节点的资源及使用情况
• YARN核心组件（包含ResourceManager和NodeManager）
  • ApplicationMaster
  • Container
    

三.核心组件-ResourceManager

• ResourceManager组成
  • ResourceScheduler->资源调度器，根据节点的容量、队列情况，为应用程序分配资源
  • Application Manager->应用程序管理器，负责接受Client端传输的job请求
• ResourceManager功能
  • 处理客户端请求
  • 监控NodeManager
  • 启动和监控ApplicationMaster，进行必要的重启
  • 整个系统的资源分配和调度

四.核心组件-NodeManager

• NodeManager功能
  • 本节点上的资源管理和任务管理
  • 定时向ResourceManager汇报本节点上的资源使用情况和各个Container的运行情况
  • 接收和处理来自ResourceManager的Container启动和停止的各种命令
  • 处理来自ApplicationMaster的指令，比如启动MapTask和ReduceTask指令

五.核心组件-ApplicationMaster

• ApplicationMaster功能
  • 每个应用程序对应一个ApplicationMaster，负责单个应用程序的管理
  • 负责数据切分
  • 为应用程序向ResourceManager申请资源(Container)，并分配内部任务（MapTask和ReduceTask）
  • 与NodeManager通信来启动/停止任务，Task都是运行在Container中的
  • 负责任务的监控和容错，当某些Task运行出错，进行容错处理

六.核心组件-Container

• Container是YARN中的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等
• Container类似于一个虚拟机，可以在上面执行任务
• 可以把它看作一个对象看待封装了一些资源但该资源又是多维度的。

七.YARN的工作机制

八.Yarn的资源调度器

1、目前Hadoop作业调度器有三种
FIFO：先进先出调度器
Capacity Scheduler：容量调度器
Fair Scheduler：公平调度器
2、默认的作业调度器在yarn-default.xml文件中查看