hive优化:大表关联数据倾斜问题
A表:单副本14.9G,1002354875条数据B表:单副本1.5G,40102307条数据两个表通过partition_path字符串去full outer join关联,没有优化前执行要88分钟第一种优化:在sql结尾使用distribute by rand() ,reduce个数88个,但是还是有数据倾斜select * from A full outer join Bon a.partition_path =b.join_pathdistribute by r...
原创
2021-03-22 19:54:45 ·
3271 阅读 ·
0 评论