Hadoop-1.2.1学习之Job创建和提交源代码分析

       在Hadoop中，MapReduce的Java作业通常由编写Mapper和Reducer开始，接着创建Job对象，然后使用该对象的set方法设置Mapper和Reducer以及诸如输入输出等参数，最后调用Job对象的waitForCompletion(true)方法提交作业并等待作业的完成。尽管使用了寥寥数语就描述了作业的创建和提交，但实际情况要复杂的多，本篇文章将通过分析源代码来深入学习该过程。

       通常使用public Job(Configuration conf, String jobName)创建Job作业对象，都会指定作业名称，hadoop代码只是将jobName设置为参数mapred.job.name的值。除了设置作业名称外，Job的构造函数还会使用Configuration对象初始化org.apache.hadoop.mapred.JobConf对象conf，以及使用UserGroupInformation.getCurrentUser()获取当前用户ugi。其中JobConf是描述MapReduce作业的主要接口，包括设置作业名称在内的许多方法都是由该类完成的。UserGroupInformation类用包含了用户和组的信息，该类封装了JAAS（Java Authentication AuthorizationService，Java认证和授权服务），并提供方法确定用户名和组。

       当创建了Job对象后通常会设置Mapper和Reducer，比如job.setMapperClass，正像上面提到的，该操作实际是由JobConf对象完成的，具体代码如下，其它的设置方法类似：

public void setMapperClass(Class<? extends Mapper> cls) thro