hadoop中mapreduce的默认设置

默认设置

job.setInputFormatClass()的默认设置为TextInputFormat类，该类处理输入（该类只处理文本文件）。TextInputFormat将文本文件的多行分成splits,并通过LineRecorderReader,将其中的每一行解析成<key,value>对，key值为对应行在文件中德偏移量，value为行的内容。

job.setMapperClass()的默认值为Mapper,Mapper将输入的<key,value>对原封不动地作为中间结果输出

job.setCombinerClass()默认为null,即不合并中间结果

job.setPartitionerClass()的默认使用HashPartitioner,HashPartitioner使用哈希函数完成Shuffle过程。

job.setReducerClass()默认使用Reducer类，Reducer将中间结果直接输出为最终结果。

job.setOutputFormatClass()默认使用TextOutputFormat类，TextOutputFormat将最终结果写成纯文本文件，每行一个<key,value>对，key和value之间用制表符分隔开来。

job.setOutputKeyClass和job.setOutputValueClass可以用来设置最终结果的key和value,默认情况下分别为LongWriteable和Text。job.setMapperOutputKeyClass和job.setMapperOutputValueClass则可以用来设置中间结果的key和value的类型。默认情况下与最终结果的类型保持一致。