Hive skew join

Hive在reduce的过程中会将相同的key放入同一个reduce处理，当某个key的数据量过大时就会发生数据倾斜。

两个表进行join时，数据量大的key称为skew key，此时可以通过以下参数对这种情况进行优化：

1.hive.optimize.skewjoin=true (default :false)

        该参数通过在Hive 对物理执行计划优化时 ,添加一个Map Join用于处理Skew Key ；

        目前该优化方案还不支持outer join，并且数据倾斜的key出现在join的最后一张表时不会触发skew key优化，如：select a.* , b.* from table_a a join table_b b on a.id =b.id，如果倾斜key 在表b的时候是不会被优化成skew join的, 如果出现在表 a 则会;   

2.hive.skewjoin.key = <判断key为Skew key 的阈值>  (default : 100000) 
        在参数 hive.optimize.skewjoin=true 时, Hive的reuce 任务会在处理join key 的时候 判断其数量是否大于该 阈值,如果是将作为一个Skew Join 处理 

3.hive.skewjoin.mapjoin.map.tasks = <用于处理skew join的map join 的最大数量>  (defaul : 10000)
 

参考博客：Hive优化—skew join优化原理详解_看得出的就是的博客-CSDN博客