Hadoop中Job提交过程

虽然写过多次的MR程序，但是未能很好的理解整个Hadoop中的Job的任务提交过程，查看了下源码，整理了下其job的提交过程，大致为：客户端向资源管理yarn申请资源，yarn分配好相应的资源，进行作业的运行，当作业运行完成时，yarn回收资源。具体如下：
1、客户端Client提交job，会执行代码中的job.awitforcompletion(),在客户端创建了一个RunJar的进程，RunJar向Yarn的资源管理Resource Manager（RM）申请一个Job，过程中使用的是远程过程控制协议RPC和RM进行通信的。
2、RM返回相关资源的提交路径staging-dir和这次job的jobID；
3、Client向刚获得的资源路径staging-dir/jobID提交资源；
4、向RM汇报资源提交结果；
5、RM将job加入到任务队列中；
6、各个Node Manager从RM中领取任务（NM时刻和RM保持通讯）；
7、RM在NM中分配运行资源容器Container；
8、RM随机找到一台DataNode启动MRAppMaster作为这次job的管理进程；
9、DM的MRAppMaster向RM注册自己；
10、MRAppMaster启动Map任务进程，在RM中的container启动yarnChild进程用于maptask的运行；
11、MRAppMaster启动Reduce任务，运行reduce任务；
12、所有reduce任务运行完成，job完成后MRAppMaster向RM注销自己；
注：其中RunJar、MRAppMaster、YarnChild都是一个进程，MRAppMaster、YarnCHild是动态生成的。至于yarn怎么样对资源调度还是比较深的，还得再研究，路漫漫~Good Luck！