提交spark任务前进行设置即可:
sc.hadoopConfiguration.set(“mapreduce.fileoutputcommitter.marksuccessfuljobs”, “false”)
限制spark输出往hdfs写success文件
最新推荐文章于 2023-05-16 14:42:20 发布
提交spark任务前进行设置即可:
sc.hadoopConfiguration.set(“mapreduce.fileoutputcommitter.marksuccessfuljobs”, “false”)