MapReduce作业运行流程整体分析

MapReduce作业运行流程整体分析

1、在客户端启动一个作业；

2、向JobTracker请求一个JobID；

3、将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的JAR文件、配置文件和客户端计算所得的输入划分信息。这些文件都存放在JobTracker专门为该作业创建的文件夹中。文件建明为该作业的JobID。JAR文件默认会有10个副本（mapred.submit.Replication属性控制）；输入划分信息高速了JobTracker应该为这个作业启动多少个map任务等信息；

4、JobTracker接收到作业后，将其放在一个作业队列里，等待作业调度器对其进行调度，当作业调度器根据自己的调度算法调度到该作业时，会根据输入划分信息为每个划分创建一个map任务，并将map任务分配给TaskTracker执行。对于map和reduce任务，TaskTracker根据主机核的数量和内存的大小有固定数量的map槽和reduce槽。这里需要强调的是：map任务不是随随便便地分配给某个TaskTracker的，这里有个概念叫：数据本地化（Data-Local） 。意思是：将map任务分配给含有该map处理的数据块的TaskTracker上，同时将程序JAR包复制到TaskTracker上来运行，这叫“运算移动，数据不移动”。而分配rudece任务时并不考虑数据本地化。

5、TaskTracker每隔一段时间会给JobTracker发送一个心跳，告诉JobTracker它依然在运行，同时心跳中还携带着很多的信息，比如当前map任务完成的进度等信息。当JboTracker收到作业的最后一个任务完成时，便把改作业设置“成功”。当JobClient查询状态时，它将得知任务已完成，变回显示一条消息给用户。

以上就是MapReduce作业运行流程整体分析全部内容了。参考了，云帆大数据视频课程。如果有错误或问题，评论留言一起积极讨论。