使用sparksql insert overwrite插入hive分区导致所有分区被删

最新推荐文章于 2024-05-10 22:00:07 发布

UAreNotMe

最新推荐文章于 2024-05-10 22:00:07 发布

阅读量4.6k

点赞数 3

分类专栏： hive spark 文章标签： spark hive

本文链接：https://blog.csdn.net/weixin_40981792/article/details/118698615

版权

hive 同时被 2 个专栏收录

1 篇文章

订阅专栏

spark

1 篇文章

订阅专栏

本文介绍了在使用SparkSQL的insertoverwrite功能插入Hive分区表时，要注意2.3版本后出现的spark.sql.sources.partitionOverwriteMode参数。如果不正确设置，可能导致所有分区被覆盖。务必了解如何避免这种数据丢失问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用sparksql insert overwrite插入hive分区导致所有分区被删

简单记录一下，防止踩坑。
hive.exec.dynamic.partition=true
hive.exec.dynamic.partition.mode=nonstrict
开启这两个参数，进行动态插入分区表：
insert overwrite table tablename partition(part_col)
1.这种方式在2.3之前，只会修改查询结果的分区，没什么问题。
2.但是如果在2.3之后，spark会增加一个 spark.sql.sources.partitionOverwriteMode参数，这个参数有两个值，默认 static，可修改为 dynamic。问题就出在这里，如果不更改这个参数，使用默认的static，在动态插入时，不管插入的分区是否存在，都会导致所有的分区被覆盖，数据无法找回。
3.可以在hive中使用show create table查看 spark.sql.create.version来确认表的版本。