MapReduce部分：MapReduce基于yarn的工作原理

MapReduce基于yarn的工作原理：

我们通过提交jar包，进行MapReduce处理，那么整个运行过程分为五个环节：

　　1、向client端提交MapReduce job.

　　2、随后yarn的ResourceManager进行资源的分配.

　　3、由NodeManager进行加载与监控containers.

　　4、通过applicationMaster与ResourceManager进行资源的申请及状态的交互，由NodeManagers进行MapReduce运行时job的管理.

　　5、通过hdfs进行job配置文件、jar包的各节点分发。

Job 提交过程

　　job的提交通过调用submit()方法创建一个JobSubmitter实例，并调用submitJobInternal()方法。整个job的运行过程如下：

　　1、向ResourceManager申请application ID，此ID为该MapReduce的jobId。

　　2、检查output的路径是否正确，是否已经被创建。

　　3、计算input的splits。

　　4、拷贝运行job 需要的jar包、配置文件以及计算input的split 到各个节点。

　　5、在ResourceManager中调用submitAppliction()方法,执行job

Job 初始化过程

　　1、当resourceManager收到了su