Java客户端向 Hadoop 提交 Mapreduce 程序前后发生了什么？

1. 客户端调用 waitForCompletion() 后，源码的主要操作：

1. Checking the input and output specifications of the job.

2. Computing the InputSplit values for the job.

3. Setting up the requisite accounting information for the DistributedCache of the job, if necessary.

4. Copying the job’s jar and configuration to the MapReduce system directory on the FileSystem.

5. Submitting the job to the ResourceManager and optionally monitoring it’s status.

2. ResourceManager 进程和 NodeManager 进程通信，根据集群资源，为用户程序分配第一个容器，并将 MapReduce ApplicationMaster 分发到这个容器上面，并在容器里面启动 MapReduce ApplicationMaster。

3. MapReduce ApplicationMaster 启动后立即向 ResourceManager 进程注册，并为自己的应用程序申请容器资源（只是获取Container对象，里面有资源的相关元数据）。

4. MapReduce ApplicationMaster申请到需要的容器资源后，立即和相应的 NodeManager 进程通信，让其启动容器（真正地启动Container）运行 map 任务。

NodeManager为任务设置好运行环境（包括环境变量、JAR包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。

After the uploading, jar file will be copied to 10 different data nodes randomly by default. Then when the tasks are being executing, that task will copy it into jvm either from it self (if available) or from the closest node.

5. Map或者Reduce任务在运行期和MapReduce ApplicationMaster通信，汇报自己的运行状态，如果运行结束，MapReduce ApplicationMaster向ResourceManager进程注销并释放所有的容器资源。

---

重点注意容器 Container 的两种含义：

Word 'Container' is used in YARN in two contexts,

Container: Signifies an allocated resources to an ApplicationMaster. ResourceManager is responsible for issuing resource/container to an ApplicationMaster. Check Container API.

Launching a Container: Based on allocated resources (containers) ApplicationMaster request NodeManager to start Containers, resulting in executing task on a node. Check ContainerManager API.