记录SparkSql向hive表中插入数据失败的bug问题
报错信息
- 报错如下:
Exception in thread “main” org.apache.spark.Sparkexception:Dynamic partition strict mode requires at least one static partition column;
报错的原因
在hive表中通过子查询插入数据到分区表时报的错误。
因为要做动态分区, 所以要先设定partition参数,由于default是false, 需要额外下指令打开这个开关。
default是strick, 表示不允许动态分区, 所以要改成nostrick。
解决方法:
- set hive.exec.dynamic.partition=true;
- set hive.exec.dynamic.partition.mode=nostrick;
如果是租户环境无法修改配置,可以将这两个设置语句加到 hive SQL的前两行,然后无论是hive -f执行该SQL文件,或者是使用Spark去执行hive SQL都不会影响,可以完美的解决!!