使用spark操作hive的时候,当需要对hive的分区表进行动态更新分区内容时,可在SparkSession中进行如下设置
SparkSession.builder()
.master("yarn")
.appName(appName)
.enableHiveSupport()
.config("hive.exec.dynamic.partition", true) // 支持 Hive 动态分区
.config("hive.exec.dynamic.partition.mode", "nonstrict") // 非严格模式
.getOrCreate()