MapReduce执行流程

job的执行流程

1. 客户端提交一个job任务到JobTracker： hadoop jar xxx.jar

2. JobTracker收集环境信息:

a. 检测类型是否匹配

b. 检测输入/输出路径是否合法

3. JobTracker给job分配一个全局递增的jobid，然后将jobid返回给客户端

4. 客户端收到jobid之后，将jar包提交到HDFS上

5. 准备执行job任务

6. JobTracker会将job任务进行划分，划分为MapTask和ReduceTask，其中MapTask的数量由切片数量决定，ReduceTask的数量由Partitioner/numReduceTask决定

7. JobTracker等待TaskTracker的心跳。一般TaskTracker和DataNode会设置为同一个节点，节省网络资源。当TaskTracker发送心跳信息的时候，这个时候JobTracker就会给TaskTracker分配任务。注意：在分配的时候，MapTask符合数据本地化策略（当TaskTracker上有这个数据的时候才会将MapTask分给它），ReduceTask分配到相对空闲的节点上

8. TaskTracker领取到任务之后，到对应的节点下载jar包 - 体现的思想：逻辑移动而数据固定

9. TaskTracker会在本节点内启动JVM子进程执行MapTask或者是ReduceTask - 注意：每一个MapTask或者ReduceTask都会启动一次JVM子进程