在MapReduce中使用MultipleOutputs将结果输出到指定的多个文件或文件夹
使用步骤主要有三步:
1、在reduce或map类中创建MultipleOutputs对象,将结果输出;
class TestReducer extends Reducer<Text, Text, Text, Text>{
//将结果输出到多个文件或多个文件夹
private MultipleOutputs mos;
protected void setup(Context context) throws IOException,InterruptedException {
mos = new MultipleOutputs<>(context); // 初始化mos
}
protected void cleanup(Context context) throws IOException,InterruptedException {
mos.close(); //关闭对象
}
}
2、在map或reduce方法中使用MultipleOutputs对象输出数据,代替context.write();
protected void reduce(Text key, Iterable<Text> values, Context context)
throws IOException, InterruptedException {
.... // 计算key和value
//使用MultipleOutputs对象输出数据
if(key.toString().equals("file1")){
mos.write("file1", key, value);
}else if(key.toString().equals("file2")){
mos.write("file2", key, value);
}
}
3、在创建job时,定义附加的输出文件(),这里的文件名称与第二步设置的文件名相同;
要注意的是hadoop是不承认未经注册namedOutput的,必须先在主函数中注册,然后才能写入,否则运行时会报not defined错误;所以要在主函数中用MultipleOutputs.addNamedOutput将对应的namedOutput文件注册一下。
//定义附加的输出文件
MultipleOutputs.addNamedOutput(job,"file1",TextOutputFormat.class,Text.class,Text.class);
MultipleOutputs.addNamedOutput(job,"file2",TextOutputFormat.class,Text.class,Text.class);