yarn作业执行流程

yarn作业执行流程

1、客户端向ResourceManager 发送运行job的请求，申请资源
2、ResourceManager 向客户端返回一个job_id以及共享资源的路径
  /tmp/hadoop-yarn/staging/hadoop/.staging/job_id
  共享资源包含三点信息
    1）jar 包 job.jar-
    2）切片信息
    3）job.xml
3、客户端将共享资源放置在共享资源路径下
4、客户端返回消息告知ResourceManager 已经成功放置共享资源，提交应用程序
5、ResourceManager 向客户端返回运行MRAppMaster的节点（比如nodemanger01）
6、ResourceManager 到nodemanager01先启动一个Container，然后启动MRAppMaster
7、MRAppMaster对job进行初始化，将job_id改为application_id，同时生成一个job的记录簿，记录MapTask或者ReduceTask的进度以及状态
8、为了获取MapTask个数和ReduceTask个数，需要MRAppMaster去下载共享资源到本地
9、MapTask
  1）MRAppMaster向ResourceManager 申请MapTask资源
  2）ResourceManager 向MRAppMaster返回相对应的MapTask资源节点（比如nodemanger02），MapTask节点优先原则是：数据本地化优先
  3）MRAppMaster到nodemanger02先启动一个Container，再启动MapTask
  4）MapTask运行一个应用程序需要数据、应用程序、资源
缺少应用程序，所以需要MRAppMaster去下载共享资源，主要是jar包和切片信息
  5）开始运行MapTask任务
  6）MapTask在运行过程中向MRAppMaster汇报自己的进度和状态
10、当MRAppMaster获取到一个节点上的所有MapTask都完成，准备启动ReduceTask
11、ReduceTask
  1）MRAppMaster向ResourceManager 申请ReduceTask资源
  2）ResourceManager 向MRAppMaster返回相对应的ReduceTask资源节点（比如nodemanger03），ReduceTask节点优先原则是：随机
  3）MRAppMaster到nodemanger03先启动一个Container，再启动ReduceTask
  4）ReduceTask运行一个应用程序需要数据、应用程序、资源
缺少应用程序，所以需要MRAppMaster去下载共享资源，主要是jar包和job配置信息
  5）所有的MapTask完成，所有的fetch完成，开始运行ReduceTask任务
  6）ReduceTask在运行过程中通过RPC协议向MRAppMaster汇报自己的进度和状态，是为了保证在运行失败的重新启动任务
12、当MapTask和ReduceTask都完成后，MRAppMaster到相对应的节点去进行资源回收
13、应用程序完成，MRAppMaster向ResourceManager注销并关闭自己