Hadoop Mapreduce执行流程

Hadoop MapReduce作业执行流程

整个 Hadoop MapReduce 的作业执行流程如图所示

1、提交作业

客户端向 JobTracker 提交作业。首先，用户需要将所有应该配置的参数根据需求配置好。作业提交之后，就会进入自动化执行。在这个过程中，用户只能监控程序的执行情况和强制中断作业，但是不能对作业的执行过程进行任何干预。提交作业的基本过程如下。

1）客户端通过 Runjob() 方法启动作业提交过程。

2）客户端通过 JobTracker 的 getNewJobId() 请求一个新的作业 ID。

3）客户端检查作业的输出说明，计算作业的输入分片等，如果有问题，就抛出异常，如果正常，就将运行作业所需的资源（如作业 Jar 文件，配置文件，计算所得的输入分片等）复制到一个以作业 ID 命名的目录中。

4）通过调用 JobTracker 的 submitjob() 方法告知作业准备执行。

2、初始化作业

JobTracker 在 JobTracker 端开始初始化工作，包括在其内存里建立一系列数据结构，来记录这个 Job 的运行情况。