weixin_41913178的博客

原创 解决Hive数据倾斜问题

对于需要两张大的事实表join才能得到的表,在建模时直接考虑使用累积性快照事实表,原本很大的两张表,每天把增量数据做一个join,相对来说效率要高很多。以上三种解决方法并不能很好的去解决大表join大表的问题,只能平时应急使用,如果想从根本上解决问题的话,还是需要在数仓建模的过程中去解决。比如在数仓中,事实表join维度表(订单表join地区表),这种场景下产生的数据倾斜只需要开启mapjoin即可。解决方法①:启用smb join,意思是分桶有序的join,要求桶和桶之间必须是相同或者倍数的关系。