spark RDD saveAsTextFile没有设置重复写入的参数,只能用hdfs先删再写

spark RDD saveAsTextFile(path)也是调用的 hdfs的 saveAsHadoopFile 函数,但是并没有什么标志设置是否重写。

所以可以在代码中用hadoop的删除文件代码模块执行后,再写入。(方案一:判定文件路径是否存在,存在则删除,方案二:try catch包含删除操作代码,然后再删除)

//spark scala
import apache.hadoop.fs.FileSystem
import.apache.hadoop.fs.Path

var hadoopconf=HBaseConfiguration.create()
var fs=FileSystem.get(hadoopconf)
var path="xxxx"
try{
    if(path.length()>5){//路径名太短的不删除,防止删库跑路
        fs.delete(new Path(path),false)//false 直接删除不放入Trash垃圾站
    }
}catch{
    case ex:Exception=>{
        println(ex)
    }
}

当然又出现了另一个问题,说路径存在却又无法删除,属于另一个问题,我懒的搞,直接shell手动删除了,时间紧迫,后续再说

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值