使用MultipleOutputs可以定义输出文件名的前缀,但文件名总是会出现讨厌的-00000,我们可以通过查看源码,发现输出文件名FileOutputFormat
中的某个函数实现,如下:
public Path getDefaultWorkFile(TaskAttemptContext context,String extension) throws IOException{
FileOutputCommitter committer = (FileOutputCommitter) getOutputCommitter(context);
return new Path(committer.getWorkPath(), getUniqueFile(context, getOutputName(context), extension));
}
public synchronized static String getUniqueFile(TaskAttemptContext context, String name, String extension) {
TaskID taskId = context.getTaskAttemptID().getTaskID();
int partition = taskId.getId();
StringBuilder result = new StringBuilder();
result.append(name);
result.append('-');
result.append(
TaskID.getRepresentingCharacter(taskId.getTaskType()));
result.append('-');
result.append(NUMBER_FORMAT.format(partition));
result.append(extension);
return result.toString();
}
所以假如我们想要让输入文件名是什么输出文件名就是什么,可以通过继承TextOutputFormat
,重写里面的getDefaultWorkFile
函数,如下
public Path getDefaultWorkFile(TaskAttemptContext context,String extension) throws IOException{
FileOutputCommitter committer = (FileOutputCommitter) getOutputCommitter(context);
return new Path(committer.getWorkPath(), getOutputName(context));
}
最后通过job.setOutputFormatClass(XXX.class)
来设置我们自定义的OutputFormat
就行了