在写Spark代码的时候,经常会遇到文件夹路径存在的情况,一般有以下的解决方式
1.在shell脚本中 直接调用Hadoop fs -rm path
2.通过设置可直接覆盖文件路径,此方法我没有测试
- yourSparkConf.set("spark.hadoop.validateOutputSpecs", "false")
- val sc = SparkContext(yourSparkConf)
可参考:http://stackoverflow.com/questions/27033823/how-to-overwrite-the-output-directory-in-spark
3.通过hadoop方式删除已存在的文件目录
- val path = new Path("hdfs://xxx");
- val hdfs = org.apache.hadoop.fs.FileSystem.get(
- new java.net.URI("hdfs://x"), new org.apache.hadoop.conf.Configuration())
- if (hdfs.exists(path)) hdfs.delete(path, false)
4.通过spark自带的hadoopconf方式删除
- val hadoopConf = sparkContext.hadoopConfiguration
- val hdfs = org.apache.hadoop.fs.FileSystem.get(hadoopConf)
- if(hdfs.exists(path)){
- //为防止误删,禁止递归删除
- hdfs.delete(path,false)
- }
转自:http://blog.csdn.net/zhouyan8603/article/details/51658950
hkl曰
:更多详情也可以参考官方的API文档。
这里面的参数 true 是说可以进行递归删除的意思。
http://hadoop.apache.org/docs/r2.6.1/api/org/apache/hadoop/fs/FileSystem.html#delete(org.apache.hadoop.fs.Path, boolean)