作业的提交和监控
Job为作业提交者提供了作业的视图,允许用户管理作业,提交作业,控制作业的执行和查询作业状态,比如跟踪map和reduce任务的执行进度。该类提供的set方法只有在作业已经被提交后才生效,否则将会抛出IllegalStateException异常。作业的提交过程包括:
1. 检查作业的输入输出规范。
2. 计算作业InputSplit的值。
3. 如果必要,设置作业的DistributedCache 的必需计费信息。
4. 拷贝作业的jar文件和配置管理文件到MapReduce在文件系统的目录中。
5. 提交作业到JobTracker并可选地监控其状态。
作业的历史文件被记录到由hadoop.job.history.user.location 指定的目录中,默认值为作业的输出目录,文件被存储到指定目录下的_logs/history/中。因此,默认情况,历史文件将被存放在mapred.output.dir/_logs/history中。用户可以通过将hadoop.job.history.user.location的值设置为none阻止记录日志。
用户可以使用下面的命令浏览指定目录下的历史日志摘要:$ bin/hadoop job -history output-dir 。该命令将会打印作业的详细信息,