MapReduce之job提交逻辑及YARN框架技术机制

    之前我们在Hadoop伪分布集群运用MapReduce时，分别在map和reduce写了自己的业务数据处理逻辑，然后把java代码打包

成一个jar丢到集群中去运行，那么在hadoop -jar命令执行的时候，job是怎么提交的呢？以及YARN框架在这过程是怎么工作的

呢？下面我们来分析一下。

 

简单介绍一下YARN框架：

    1.YARN框架主要作用是资源调度；

    2.YARN包含了两个节点：ResourceManager，NodeManager，类似于HDFS的NameNode和DataNode，他们是静态存在的，

只要是start-yarn.sh就会存在这俩个节点；

    3.MapReduce在执行job的时候也会动态产生两个节点进程，MRAppMaster和yarnChild，job完成之后就会动态销毁；

 

runner代码中：

    wcjob.waitForCompletion(true);  //将job提交给集群运行

    在执行到这条语句的时候，会在服务器上创建RunJar进程，他的作用是和ResourceManager通信并且提交job相关资源，如： 

配置文件，jar等等；

 

提交逻辑：

    1.RunJar向ResourceManager申请执行一个job；

    2.ResourceManager返回job相关资源提交路径staging-dir和为本次job产生的jobID；

    3.RunJar提交资源，提交到HDFS的某个路径上；

    4.提交完成之后向ResourceManager汇报提交结果；

    5.ResourceManager将本job加入任务队列；

    6.ResourceManager向多个NodeManager分配任务；

    7.领取到任务的NodeManager自行分配运行资源容器container，因为一台NodeManager可能运行多个job任务，所以要为每个

job分配好资源，如：分配运行内存等；

    以上这些工作都是资源分配相关的，是由YARN框架来完成的，下面该MapReduce登场了；

    8.启动MRAppMaster；

    9.MRAppMaster向ResourceManager注册；

    10.MRAppMaster启动map任务进程（yarnChild进程，可能会有多个map进程）；

    11.所有的map执行完成之后，启动reduce任务进程（yarnChild进程）；

    12.job任务完成之后MRAppMaster向ResourceManager注销MRAppMaster进程和yarnChild进程；

 

总结