MapReduce作业的运行涉及Client、JobTracker、TaskTracker和HDFS。Client提交作业，JobTracker协调，TaskTracker执行Map或Reduce任务。作业提交包括获取作业ID、检查输出设置、计算InputSplit。JobTracker初始化作业，创建任务列表，TaskTracker通过心跳机制向JobTracker报告状态。调度器根据策略分配任务，TaskTracker执行任务，包括复制JAR文件，解压到本地目录，并启动child JVM运行任务。
MapReduce作业的运行过程如下图所示。包含4个独立的实体：
（1）Client:提交MapReduce作业
（2）JobTracker：协调作业的运行。
（3）TaskTracker:运行作业划分后的Map任务或Reduce任务。
（4）Shared FileSystem(一般为HDFS），用来在其他实体间共享作业文件。
Mapreduce工作机制
1.作业的提交
Job的waitForCompletion (true)方法所实现的作业提交过程如下：向jobtracker请求一个新的作业ID，见步骤2。检查作业的输出说明。计算作业的InputSplit。
2.作业初始化
JobTracker会把作业放入一个内部队列中，交由job scheduler进行调度，并
最低0.47元/天 解锁文章
扫一扫
392
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
