使用sparksql insert overwrite插入hive分区导致所有分区被删
使用sparksql insert overwrite插入hive分区导致所有分区被删简单记录一下,防止踩坑。hive.exec.dynamic.partition=truehive.exec.dynamic.partition.mode=nonstrict开启这两个参数,进行动态插入分区表:insert overwrite table tablename partition(part_col)1.这种方式在2.3之前,只会修改查询结果的分区,没什么问题。2.但是如果在2.3之后,spark会
原创
2021-07-13 14:10:18 ·
4146 阅读 ·
0 评论