Hive insert Overrite partition踩坑
Hive insert Overrite partition 动态分区踩坑实录业务上要求有一张表要动态插入按照时间分区的数据,然后就用了如下语法(已脱敏):先说结论:动态分区按照查询的最后一个字段来,我这里没有按照这个规范写,就报了很多奇奇怪怪的错误。在Application上找到spark的执行日志时,发现卡在最后一个stage的repartitionAndSortWithPartitions 到 mapPartitions 阶段,而且表现为所有executor上的task数都为0,但是都有shuf
原创
2021-07-22 15:02:34 ·
2092 阅读 ·
0 评论