Hadoop学习之MapReduce(五)

作业的提交和监控

Job为作业提交者提供了作业的视图，允许用户管理作业，提交作业，控制作业的执行和查询作业状态，比如跟踪map和reduce任务的执行进度。该类提供的set方法只有在作业已经被提交后才生效，否则将会抛出IllegalStateException异常。作业的提交过程包括：

1.       检查作业的输入输出规范。

2.       计算作业InputSplit的值。

3.       如果必要，设置作业的DistributedCache 的必需计费信息。

4.       拷贝作业的jar文件和配置管理文件到MapReduce在文件系统的目录中。

5.       提交作业到JobTracker并可选地监控其状态。

作业的历史文件被记录到由hadoop.job.history.user.location 指定的目录中，默认值为作业的输出目录，文件被存储到指定目录下的_logs/history/中。因此，默认情况，历史文件将被存放在mapred.output.dir/_logs/history中。用户可以通过将hadoop.job.history.user.location的值设置为none阻止记录日志。

用户可以使用下面的命令浏览指定目录下的历史日志摘要：$ bin/hadoop job -history output-dir 。该命令将会打印作业的详细信息，失败和被杀死的作业的详细信息。更多关于作业的详细信息，比如成功的任务和每个任务的尝试次数可以以使用下面的命令浏览：$ bin/hadoop job -history all output-dir 。用户可以使用Utils.OutputFileUtils.OutputLogFilter过滤输出目录中的日志文件