Hive数据倾斜的原因及处理方法

什么是数据倾斜

MapReduce程序执行时，大部分Reduce节点都执行完毕，但是有一个或几个Reduce节点执行非常慢，导致整个任务处理时间过长。这是因为某个key的条数比其他key多很多，这个key所在的Reduce节点所处理的数据量比其他节点就大很多，才会导致某几个节点一直运行不完。这种情况就称为数据倾斜。

常见的原因

• key分布不均匀
• 业务数据本身的特性
• 建表时考虑不周
• 某些SQL语句本身就有数据倾斜

解决方法

1）key分布不均匀

设置hive.groupby.skewindata=true。这样生成的查询计划会有两个MapReduce job。

第一个MR job的Map输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作并输出结果。当然，相同的key有可能被分发到不同的Reduce中，从而达到负载均衡的目的。

第二个MR job再将预处理过的结果集合按照Group By Key分布到Reduce中，这样就能保证相同的Group By Key被分到同个Reduce中，完成最终的聚合操作。

2）Map端聚合

设置hive.map.aggr=true。Map端部分聚合就相当于Combiner。

3）业务数据本身的特性问题

比如日志数据有可能丢失，可能有大量的null值，可以将这些null值随机赋予一个key，再将其分发到不同的reduce。如果是业务数据分布不均，比如热门产品跟冷门产品的日志，那么可以设置合理的reduce个数来解决。

4）map join

允许在Map阶段进行join操作，MapJoin会把小表全部读入内存中