Hadoop深入学习：再谈MapReduce作业提交和执行

在本章中，我们将来重温一下和Hadoop的作业提交和执行流程。
看下图，我们来比较详细的学习一下该流程：
[img]http://dl2.iteye.com/upload/attachment/0086/4847/ead0ea1f-0df7-349f-af13-3f331f191b01.jpg[/img]

从上图中可以看出，分为4个阶段：
[color=blue][b]Job作业提交[/b][/color]
1、 编写MapReduce job程序，通过命令行向Hadoop提交并开始执行作业：[quote]
[color=blue]# hadoop fs -put xxx.jar /path //或者使用hadoop fs -copyFromLocal xxx.jar /path 向copy文件
# chown -R hadoop xxx.jar
# chgrp -R hadoop xxx.jar
# hadoop jar xxx.jar package.ClassName input_path output_path[/color]
[/quote]
客户端实际上是通过JobClient的submitJobInternal提交作业的。
2、本次运行，NameNode节点会首先检查用户权限和提交参数是否正确，通过后生成一个job，于是JobClient向JobTracker申请一个JobID用于标识这个job;
3、JobClient将Job所需要的资源提交到HDFS中一个以JobID命名的目录中，这些资源包括Jar包、配置文件、InputSplit元数据信息等；
4、JobClient通过调用submitJob()向JobTracker告知Job也准备好，提交这个Job；

[color=blue][b]Job初始化[/b][/color]
5、JobTracker初始化Job，当JobTracker接收到客户端submitJob()方法，会将该作业提交到内部的作业调度队列，并做相关的初始化操作，如生成JobInProgress对象和Map或Reduce Task列表等；
6、JobTracker通过JobID从HDFS获取这个Job的Split等信息；

[color=blue][b]任务分配(Task Assignment)[/b][/color]
7、TaskTrackers节点周期性的通过心跳Heartbeat向JobTracker节点汇报自己的相关信息，如“自己”还活着、可以接受新任务等，然后然后JobTracker或根据一定的作业调度算法给TaskTrackers节点分配一个Map Task和Reduce Task任务；

[color=blue][b]任务执行(Task Execution)[/b][/color]
8、TaskTracker节点在获得JobTracker指派给的任务后，会到中获取当前任务相关的资源；
9、TaskTracker启动会给分配给自己的任务启动一个JVM；
10、最后在新启动的JVM中开始执行Mapper或Reducer Task任务。