spark 中删除HDFS文件

在写spark代码的时候，经常会遇到文件夹路径存在的情况，一般有以下的解决方式

1.在shell脚本中 直接调用hadoop fs -rm path

2.通过设置可直接覆盖文件路径，此方法我没有测试

[html]  view plain  copy

1. yourSparkConf.set("spark.hadoop.validateOutputSpecs", "false")  
2. val sc = SparkContext(yourSparkConf)  

可参考：http://stackoverflow.com/questions/27033823/how-to-overwrite-the-output-directory-in-spark

3.通过Hadoop方式删除已存在的文件目录

[html]  view plain  copy

1. val path = new Path("hdfs://xxx");    
2. val hdfs = org.apache.hadoop.fs.FileSystem.get(    
3.       new java.net.URI("hdfs://x"), new org.apache.hadoop.conf.Configuration())      
4. if (hdfs.exists(path)) hdfs.delete(path, false)    

4.通过spark自带的hadoopconf方式删除

[html]  view plain  copy

1.  val hadoopConf = sparkContext.hadoopConfiguration  
2.    val hdfs = org.apache.hadoop.fs.FileSystem.get(hadoopConf)  
3. if(hdfs.exists(path)){  
4.      //为防止误删，禁止递归删除  
5.      hdfs.delete(path,false)  
6.    }