之前我们在Hadoop伪分布集群运用MapReduce时,分别在map和reduce写了自己的业务数据处理逻辑,然后把java代码打包
成一个jar丢到集群中去运行,那么在hadoop -jar命令执行的时候,job是怎么提交的呢?以及YARN框架在这过程是怎么工作的
呢?下面我们来分析一下。
简单介绍一下YARN框架:
1.YARN框架主要作用是资源调度;
2.YARN包含了两个节点:ResourceManager,NodeManager,类似于HDFS的NameNode和DataNode,他们是静态存在的,
只要是start-yarn.sh就会存在这俩个节点;
3.MapReduce在执行job的时候也会动态产生两个节点进程,MRAppMaster和yarnChild,job完成之后就会动态销毁;
runner代码中:
wcjob.waitForCompletion(true); //将job提交给集群运行
在执行到这条语句的时候,会在服务器上创建RunJar进程,他的作用是和ResourceManager通信并且提交job相关资源,如:
配置文件,jar等等;
提交逻辑:
1.RunJar向ResourceManager申请执行一个job;
2.ResourceManager返回job相关资源提交路径staging-dir和为本次job产生的jobID;
3.RunJar提交资源,提交到HDFS的某个路径上;
4.提交完成之后向ResourceManager汇报提交结果;
5.ResourceManager将本job加入任务队列;
6.ResourceManager向多个NodeManager分配任务;
7.领取到任务的NodeManager自行分配运行资源容器container,因为一台NodeManager可能运行多个job任务,所以要为每个
job分配好资源,如:分配运行内存等;
以上这些工作都是资源分配相关的,是由YARN框架来完成的,下面该MapReduce登场了;
8.启动MRAppMaster;
9.MRAppMaster向ResourceManager注册;
10.MRAppMaster启动map任务进程(yarnChild进程,可能会有多个map进程);
11.所有的map执行完成之后,启动reduce任务进程(yarnChild进程);
12.job任务完成之后MRAppMaster向ResourceManager注销MRAppMaster进程和yarnChild进程;