Hive数据倾斜

1.概念
map/reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行不完，此称之为数据倾斜。
2.hive产生数据倾斜的原因
(1)key 分布不均匀
(2)业务数据本身的特性
(3)建表时考虑不周
(4)某些 SQL 语句本身就有数据倾斜

3.解决方案
(1)参数调节
①Map 端部分聚合，相当于Combiner

hive.map.aggr = true

②有数据倾斜的时候进行负载均衡

hive.groupby.skewindata=true

(2)SQL调节
①如何join:
关于驱动表的选取，选用join key分布最均匀的表作为驱动表
做好列裁剪和filter操作，以达到两表做join的时候，数据量相对变小的效果。
②大小表join:
使用map join让小的维度表（1000条以下的记录条数） 先进内存。在map端完成reduce
③大表join大表:
把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null值关联不上，处理后并不影响最终结果。
④count distinct大量相同特殊值:
count distinct时，将值为空的情况单独处理，如果是计算count distinct，可以不用处理，直接过滤，在最后结果中加1。如果还有其他计算，需要进行group by，可以先将值为空的记录单独处理，再和其他计算结果进行union。
⑤group by维度较小:
采用sum() group by的方式来替换count(distinct)完成计算

(3)空值产生的数据倾斜
①id为空的不参与关联
②给空值分配随机的key值。
(4)小文件过多或文件过于复杂
合理设置map和reduce数