MapReduce(二): Job的运行状态

本文详细阐述了MapReduce作业(Job)从提交到完成的整个生命周期,包括Job Setup、Map、Reduce、Task Clean和Job Cleanup等阶段。Job状态会随着任务的执行和错误处理而变化,如RUNNING、SUCCEEDED、FAILED、KILLED等。Task状态从UNASSIGNED到SUCCEEDED、FAILED_UNCLEAN、KILLED_UNCLEAN等,展示了TaskTracker和JobTracker如何协作维护任务状态。同时,介绍了Kill Task和Kill Job操作对任务和作业的影响。
摘要由CSDN通过智能技术生成


提交一个Job后,其Job的状态变化过程如上图。一个Job包含Job Setup、Map、Reduce、Task、Task Clean、Job Cleanup 任务操作。JobTracker先分配一个Job Setup任务让TaskTracker执行,做Job的初始化工作。当Job Setup完成后Job进入RUNNING状态;执行完成后JobTracker分配Map任务给TaskTracker执行;Map 执行完毕后分配Reduce 任务;所有任务完成后,最后分配Job Cleanup任务,成功执行完Job Cleanup操作后Job进入SUCCEEDED状态;如果在执行Map或者Reduce任务期间发生错误,则JobTracker会分配TaskTracker执行Task Cleanup操作。如果Job在执行任务中发生错误,那么Job进入FAILED状态;如果对Job发起Kill操作,则Job进入KILLED状态。任务的执行顺序如下图所示:

 

在每个任务的执行过

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值