我们讨论JobConf

我们讨论JobConf，其有很多的项可以进行配置：

• setInputFormat：设置map的输入格式，默认为TextInputFormat，key为LongWritable,value为Text
• setNumMapTasks：设置map任务的个数，此设置通常不起作用，map任务的个数取决于输入的数据所能分成的inputsplit的个数
• setMapperClass：设置Mapper，默认为IdentityMapper
• setMapRunnerClass：设置MapRunner, maptask是由MapRunner运行的，默认为MapRunnable，其功能为读取inputsplit的一个个record，依次调用Mapper的map函数
• setMapOutputKeyClass和setMapOutputValueClass：设置Mapper的输出的key-value对的格式
• setOutputKeyClass和setOutputValueClass：设置Reducer的输出的key-value对的格式
• setPartitionerClass和setNumReduceTasks：设置Partitioner，默认为HashPartitioner，其根据key的hash值来决定进入哪个partition，每个partition被一个reduce task处理，所以partition的个数等于reducetask的个数
• setReducerClass：设置Reducer，默认为IdentityReducer
• setOutputFormat：设置任务的输出格式，默认为TextOutputFormat
• FileInputFormat.addInputPath：设置输入文件的路径，可以使一个文件，一个路径，一个通配符。可以被调用多次添加多个路径
• FileOutputFormat.setOutputPath：设置输出文件的路径，在job运行前此路径不应该存在

当然不用所有的都设置，由上面的例子，可以编写Map-Reduce程序如下：

public class MaxTemperature {     publicstatic void main(String[] args) throws IOException {        if (args.length != 2) {            System.err.println("Usage: MaxTemperature <inputpath> <outputpath>");            System.exit(-1);        }        JobConf conf = new JobConf(MaxTemperature.class);        conf.setJobName("Max temperature");        FileInputFormat.addInputPath(conf, new Path(args[0]));        FileOutputFormat.setOutputPath(conf, new Path(args[1]));        conf.setMapperClass(MaxTemperatureMapper.class);        conf.setReducerClass(MaxTemperatureReducer.class);        conf.setOutputKeyClass(Text.class);        conf.setOutputValueClass(IntWritable.class);        JobClient.runJob(conf);     } }