简化的 MapReduce 驱动程序：默认值显式设置

即便删除如下加粗的部分，程序还是能跑起来，A/B程序的运行效果是一样的。

public class MinimalMapReduceWithDefaults extends Configured implements Tool {
	@Override
	public int run(String[] args) throws IOException {
		Job job = JobBuilder.parseInputAndOutput(this, getConf(), args);
		if ( job == null) {
			return -1;
		}
		job.setInputFormat(TextInputFormat.class);
		job.setMapperClass(Mapper.class);
		job.setMapOutputKeyClass(LongWritable.class);
		job.setMapOutputValueClass(Text.class);
		job.setPartitionerClass(HashPartitioner.class);

		job.setNumReduceTasks(1);
		job.setReducerClass(Reducer.class);
		
		job.setOutputKeyClass(LongWritable.class);
		job.setOutputValueClass(Text.class);

		return job.waitForCompletion(true) ? 0 : 1;
	}

	public static void main(String[] args) throws IOException {
		int exitCode = ToolRunner.run(new MinimalMapReduceWithDefaults(), args);
		System.exit(exitCode);
	}
}

1. 代码说明：

几乎所有的驱动程序都有输入和输出2个参数，所以此处简化代码，新建了JobBuilder类。

1） JobBuilder.java

public static Job parseInputAndOutput(Tool tool, Configuration conf, String[] args) {
	if (args.length != 2) {
		printUsage(tool, "<input> <output>");
		return null;
	}

	Job job = Job.getInstance(conf, "Demo");
	job.setJarByClass(tool.getClass);
	FileInputFormat.addInputPath(job, new Path(args[0]));
	FileOutputFormat.setOutputPath(job, new Path(args[1]));
	return job;
}

public static void printUsage(Tool tool, String extraArgsUsage) {
	System.err.printf("Usage: %s [genericOptions] %s\n\n", tool.getClass().getSimpleName(), extraArgsUsage);
	GenericOptionsParser.printGenericCommandUsage(System.err);
}

2） 默认的输入格式是 TextInputFormat，产生的键类型是LongWritable（文件中每行开始的偏移量，由此可保证唯一性）

3）默认的Partitioner是 HashPartitioner，它对每条记录的键进行哈希操作来决定该条记录属于哪个分区，每个分区对应一个Reducer任务，所以：分区数等于Reducer数！

public class HashPartitioner<K, V> extends Partitioner<K, V> {
	public int getPartition(K key, V value, int numPartitions) {
		return ((key.hashCode() & Integer.MAX_VALUE) % numPartitions);
}

4）默认情况下，只有一个Reducer，所以只有一个分区，numPartions=1，由此可得上面getPartition()的结果总是等于0，所以设不设置Partitioner无关紧要了。

5）你可能注意到并没有设置Mapper数量。原因是：Map任务数量等于输入文件被划分成的分片数，取决于输入文件的大小和文件块的大小。

先记录到这里，做一个知识收纳~