1.hive分区数不能大于1000
解决办法:可以在spark submit时设置如下参数:
--conf "spark.hadoop.hive.exec.max.dynamic.partitions=5000" \
--conf "spark.hadoop.hive.exec.max.dynamic.partitions.pernode=2000" \
移动要在参数前面加上spark.hadoop,不然不起作用。
1.hive分区数不能大于1000
解决办法:可以在spark submit时设置如下参数:
--conf "spark.hadoop.hive.exec.max.dynamic.partitions=5000" \
--conf "spark.hadoop.hive.exec.max.dynamic.partitions.pernode=2000" \
移动要在参数前面加上spark.hadoop,不然不起作用。