【Mapreduce】从代码上解决Output directory already exists错误，避免每次调试都要手动删除输出文件夹

Mapreduce调试很蛋疼的，它不会覆盖上一次输出的结果，如果发现输出文件夹已经存在，比如我的调试输出文件夹是hdfs://192.168.230.129:9000/output，它会直接给你报如下错误：

[plain] view plain copy

1. Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://192.168.230.129:9000/output already exists  
2.     at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:123)  
3.     at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:770)  
4.     at org.apache.hadoop.mapreduce.Job.submit(Job.java:432)  
5.     at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:447)  
6.     at MyMapReduce.main(MyMapReduce.java:65)  

如下图所示：

当然，错误很明了，就是输出文件夹已存在。

不过网上有写很坑爹的教程，表示解决这个错误，要自己手动删除输出文件夹。

这很蛋疼，无论你这次调试成功还是报错与否，都要先刷新HDFS，再删除，再运行程序：

这是何其地蛋疼啊！其实可以在代码上利用hdfs的文件操作，解决这个问题。思想就是在代码运行之前，也就是提交作业之前，判断output文件夹是否存在，如果存在则删除。具体代码如下：

[java] view plain copy

1. import java.io.IOException;  
2. import java.util.StringTokenizer;  
3. import org.apache.hadoop.conf.Configuration;  
4. import org.apache.hadoop.fs.FileSystem;  
5. import org.apache.hadoop.fs.Path;  
6. import org.apache.hadoop.io.IntWritable;  
7. import org.apache.hadoop.io.Text;  
8. import org.apache.hadoop.mapreduce.Job;  
9. import org.apache.hadoop.mapreduce.Mapper;  
10. import org.apache.hadoop.mapreduce.Reducer;  
11. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;  
12. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
13. import org.apache.hadoop.util.GenericOptionsParser;  
14.   
15. public class MyMapReduce {  
16.   
17.     public static class MyMapper extends  
18.             Mapper<Object, Text, Text, IntWritable> {  
19.         private final static IntWritable one = new IntWritable(1);  
20.         private Text word = new Text();  
21.   
22.         public void map(Object key, Text value, Context context)  
23.                 throws IOException, InterruptedException {  
24.             StringTokenizer itr = new StringTokenizer(value.toString());  
25.             while (itr.hasMoreTokens()) {  
26.                 word.set(itr.nextToken());  
27.                 context.write(word, one);  
28.             }  
29.         }  
30.     }  
31.   
32.     public static class MyReducer extends  
33.             Reducer<Text, IntWritable, Text, IntWritable> {  
34.         private IntWritable result = new IntWritable();  
35.   
36.         public void reduce(Text key, Iterable<IntWritable> values,  
37.                 Context context) throws IOException, InterruptedException {  
38.             int sum = 0;  
39.             for (IntWritable val : values) {  
40.                 sum += val.get();  
41.             }  
42.             result.set(sum);  
43.             context.write(key, result);  
44.         }  
45.     }  
46.   
47.     public static void main(String[] args) throws Exception {  
48.         Configuration conf = new Configuration();  
49.   
50.         String[] otherArgs = new GenericOptionsParser(conf, args)  
51.                 .getRemainingArgs();  
52.         if (otherArgs.length != 2) {  
53.             System.err.println("Usage: wordcount <in> <out>");  
54.             System.exit(2);  
55.         }  
56.         Job job = new Job(conf);  
57.         job.setMapperClass(MyMapper.class);  
58.         job.setReducerClass(MyReducer.class);  
59.         job.setOutputKeyClass(Text.class);  
60.         job.setOutputValueClass(IntWritable.class);  
61.   
62.         // 判断output文件夹是否存在，如果存在则删除  
63.         Path path = new Path(otherArgs[1]);// 取第1个表示输出目录参数（第0个参数是输入目录）  
64.         FileSystem fileSystem = path.getFileSystem(conf);// 根据path找到这个文件  
65.         if (fileSystem.exists(path)) {  
66.             fileSystem.delete(path, true);// true的意思是，就算output有东西，也一带删除  
67.         }  
68.   
69.         FileInputFormat.addInputPath(job, new Path(otherArgs[0]));  
70.         FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));  
71.         System.exit(job.waitForCompletion(true) ? 0 : 1);  
72.     }  
73.   
74. }  

关键就是如下这4行：

[java] view plain copy

1. // 判断output文件夹是否存在，如果存在则删除  
2. Path path = new Path(otherArgs[1]);// 取第1个表示输出目录参数（第0个参数是输入目录）  
3. FileSystem fileSystem = path.getFileSystem(conf);// 根据path找到这个文件  
4. if (fileSystem.exists(path)) {  
5.     fileSystem.delete(path, true);// true的意思是，就算output有东西，也一带删除  
6. }  

教会Mapreduce这SB覆盖上一次运行结果，别只会在这报错！