我们讨论JobConf,其有很多的项可以进行配置:
- setInputFormat:设置map的输入格式,默认为TextInputFormat,key为LongWritable,value为Text
- setNumMapTasks:设置map任务的个数,此设置通常不起作用,map任务的个数取决于输入的数据所能分成的inputsplit的个数
- setMapperClass:设置Mapper,默认为IdentityMapper
- setMapRunnerClass:设置MapRunner, maptask是由MapRunner运行的,默认为MapRunnable,其功能为读取inputsplit的一个个record,依次调用Mapper的map函数
- setMapOutputKeyClass和setMapOutputValueClass:设置Mapper的输出的key-value对的格式
- setOutputKeyClass和setOutputValueClass:设置Reducer的输出的key-value对的格式
- setPartitionerClass和setNumReduceTasks:设置Partitioner,默认为HashPartitioner,其根据key的hash值来决定进入哪个partition,每个partition被一个reduce task处理,所以partition的个数等于reducetask的个数
- setReducerClass:设置Reducer,默认为IdentityReducer
- setOutputFormat:设置任务的输出格式,默认为TextOutputFormat
- FileInputFormat.addInputPath:设置输入文件的路径,可以使一个文件,一个路径,一个通配符。可以被调用多次添加多个路径
- FileOutputFormat.setOutputPath:设置输出文件的路径,在job运行前此路径不应该存在
当然不用所有的都设置,由上面的例子,可以编写Map-Reduce程序如下:
public class MaxTemperature { } |