Yarn~Yarn执行MapReduce程序的过程

一、外部执行过程

• 以Java语言为例，完成源码后，打包成一个jar文件，把这个文件放到Hadoop集群中(可以放在任何节点，最好放在NameNode节点)。需要注意的是，不是放在HDFS中，而是放在某节点的本地文件系统中。
• 一般用Java执行jar文件，但是jar依赖Hadoop的Java库，为了避免设置classPath的麻烦，一般用Hadoop的bin/hadoop命令执行jar，执行前还需要把要处理的数据在HDFS中准备好

二、内部执行过程

• MapReduce程序也算是一个Yarn客户端，它利用Yarn的节点完成各阶段处理。阶段的先后关系、每个阶段需要划分多少任务、如何在节点中启动任务、数据如何在阶段间流动都由MapReduce程序决定，它根据自己的需求向Yarn申请Container资源，以支撑自己的流程
• 一个Yarn客户端主要通过两个组件与Yarn交互：一是作业提交组件、二是ApplicationMaster
• 作业提交组件运行在bin/hadoop启动jar时创建的进程中，它向RM发出运行程序(一个作业)的请求。RM接收请求后，为程序分配一个Container，在其中运行程序的Application(所以AM组件运行在NM的Container中)，此时作业提交的主要任务就完成了。
• AM向RM请求Container资源，将运行数据处理代码的命令交给Container执行。它注册监听器来监听RM和NM的事件，并在NM崩溃时进行任务错误恢复处理。