YARN的Job任务提交流程和任务调度

在Hadoop体系中，YARN的主要作用是资源管理和任务调度，其主要组合包括ResourceManager和NodeManager，下面来聊聊它的job任务提交流程和任务调度算法。

• job任务提交流程
  job任务的提交流程如下图：
  
  1 客户端向ResourceManager提交任务，ResourceManager会根据权限和当前集群的负载情况执行Job任务
  2 ResourceManager就会启动ApplicationManager来启动AppMaster，一个AppMaster对应一个Job任务
  3 AppMaster启动完成后，就会向ApplicationManager注册一个AppMaster
  4 接着AppMaster会向ResourceSchedule申请所需要的资源
  5 ResourceSchedule就会以container为列表返回资源（container）封装的是cpu、内存等资源，container是执行Task的最小单位
  6 AppMaster拿到资源后，就会去对应的机器上启动container来执行job任务
  7 container启动完成后，就开始启动MapTask和ReduceTask来执行任务
  8 container定期向AppMaster汇报执行情况
  9 AppMaster也会定期向ApplicationManager汇报执行情况
  10 当任务执行完成后，就会把结果返回给客户端

• 任务调度算法

  • FIFO Scheduler(First In First Out)
    这种调度算法也成为了队