Hadoop MapReduce的生命周期

Hadoop MapReduce 作业的生命周期

假设用户编写了一个MapReduce程序，并将其打包成xxx.jar文件，并提交作业，该作业的运行过程如图所示：

这个过程分为以下5个步骤：

1. 作业提交与初始化。
   用户提交作业后，首先由JobClient实例将作业相关信息，（比如讲程序jar包、作业配置文件、分片元信息文件等）上传到分不是文件系统（一般为HDFS）上，其中分片元信息文件记录了每个输入分片的逻辑位置信息。然后JobClient通过RPC通知JobTracker收到新作业提交请求后，由作业调度模块对作业进行初始化：为作业创建一个JobInProgress对象以跟踪作业运行状况，而JobInProgress则会为每个Task创建一个TaskInProgress对象以跟踪每个任务的运行状态，TaskInProgress可能需要管理做个“Task运行尝试”（称为“Task Attempt”）。
2. 任务调度与监控。
   TaskTracker周期性的通过HeartBeat想JobTracker汇报本节点的资源使用情况，一旦出现空闲资源，JobTracker会按照一定的策略选择一个合适的任务使用该空闲资源，这由任务调度器完成。

任务调度器是一个可插拔的独立模块，且为双层架构，即首先选择作业，然后从该作业中选择任务，其中，选择任务时需要重点考虑数据本地性。此外，JobTracker跟踪作业的整个运行过程，并为作业的成功运行提供全方位的保障。首先，当TaskTracker或者Task失败时，转移计算任务；其次，当某个Task执行进度远落后于同一作业的其他Task时，为之启动一个相同的Task，并选取计算快的Task结果作为最终结果。

3. 任务运行环境准备。
   运行环境包括JVM启动和资源隔离，均由TaskTracker实现。TaskTracker为每个Task启动一个JVM以避免不同Task在运行是相互影响；同时，TaskTracker使用了操作系统进程实现资源隔离以防止Task滥用资源。
4. 执行任务。
   TaskTracker为每个Task准备好环境以后，便会启动Task，在运行过程中，每个Task的最新进度首先由Task通过RPC汇报给TaskTracker，再由TaskTracker汇报给JobTracker。
5. 作业完成。