sparksql 指定输出的文件名

32 篇文章 0 订阅

1. 修改源码更新jar 包

这是sparksql写入hive表指定输出文件名的自定义方式。

版本:spark-2.3.2

实现目的
在目前的业务需求中,需要实现场景为:

当往一个hive表中不断以Append的方式写入数据,需要知道哪些文件是哪一次运行后追加的文件,所以最好的方法是往输出的文件名前添加前缀,如日期,或者调度编号等。但是spark未提供相应参数接口,需要更改一丢丢源码来实现。

实现方式

只需要更新 org.apache.spark.internal.io.HadoopMapReduceCommitProtocol#getFilename 方法内容,添加如 spark.sql.hyren.outputfilename.preffix 配置项重新打包替换 spark-core_2.11-2.3.2.jar 即可。

使用时指定配置项如

spark.conf.set("spark.sql.hyren.outputfilename.preffix","20200101")

2. 正常写出文件完成之后, 使用shell或者其他脚本语言,修改part -> XXX

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值