【hadoop】reducer输出多个目录

hadoop的reducer输出多个文件

关键字:  hadoop , mapreduce

有时候我们想到这样的功能: reducer能根据key(或value)值来输出多个文件，同一key(或value)处于同一个文件中。现在hadoop的0.17.x版本可以重写MultipleOutputFormat的generateFileNameForKeyValue就可以实现此功能。 

比如： 

Java代码 

1. package org.apache.hadoop.mapred.lib;   
2.   
3. import java.io.IOException;   
4.   
5. import org.apache.hadoop.fs.FileSystem;   
6. import org.apache.hadoop.io.Writable;   
7. import org.apache.hadoop.io.WritableComparable;   
8. import org.apache.hadoop.mapred.JobConf;   
9. import org.apache.hadoop.mapred.RecordWriter;   
10. import org.apache.hadoop.mapred.TextOutputFormat;   
11. import org.apache.hadoop.util.Progressable;   
12.   
13. public class MultipleTextOutputFormat<K extends WritableComparable, V extends Writable>   
14.     extends MultipleOutputFormat<K, V> {   
15.   
16.   private TextOutputFormat<K, V> theTextOutputFormat = null;   
17.   
18.   @Override  
19.   protected RecordWriter<K, V> getBaseRecordWriter(FileSystem fs, JobConf job,   
20.       String name, Progressable arg3) throws IOException {   
21.     if (theTextOutputFormat ==