Hadoop MapReduce作业的生命周期
Hadoop MapReduce作业的生命周期,即作业从提交到运行结束需要经历的整个过程,概括起来有5个步骤,下面将就这5个步骤做简要概述。
假设用户编写一个MapReduce程序,并将其打包为xxx.jar,然后使用命令提交作业:
$HADOOP_HOME/bin/hadoop jar xxx.jar \
-D mapred.job.name = "xxx" \
-D mapred.map.tasks = 3 \
-D mapred.reduce.tasks = 2 \
-D input = /xxx/input \
-D output = /xxx/output
则该过程的运行过程为:
**步骤一:**作业提交与初始化。用户提交作业后,由JobClient实例将作业相关信息(jar包、作业配置文件、分片元信息等上传到分布式文件系统中),其中,分片元信息文件记录了每一个输入分片的逻辑位置信息。然后JobClient通过RPC通知JobTracker。JobTracker收到新作业提交信息后,由作业调度模块对作业进行初始化:为