Hive skew Join(数据倾斜) 的解决方案

为什么会数据倾斜?

由于Hive 在join的时候会将相同的key 在最后都汇聚到同一个Reduce 进行处理 , 所以当Join 操作中某个表中的一些Key 数量远远大于其他,则处理该Key的Reduce 将成为瓶颈 .

如 : select a.* , b.* from table_a a join table_b b on a.id =b.id ;    如果table_a中的id数量远多于table_a中的其他id ,则会数据倾斜;

 

解决方案:

可以通过以下的参数设置 让hive 自动的对skew key 进行处理:

1.hive.optimize.skewjoin=true (default :false)

该参数通过在Hive 对物理执行计划优化时 ,添加一个Map Join用于处理Skew Key .

目前该优化方案是不支持Outer Join的! 

如果数据倾斜的Key 出现在Join的最后一张表时 , 是不会触发Skew Join 的优化!

如 : select a.* , b.* from table_a a join table_b b on a.id =b.id ;  如果倾斜key 在表b的时候是不会被优化成skew join的, 如果出现在表 a 则会;