hive 数据倾斜

造成hive表数据倾斜的原因归根结底是计算集的key值分布不均匀

而造成key值分布不均匀的原因有很多：

1.业务本身的特性

2.建表时考虑不周

3.某些sql语句本身就有数据倾斜

1）join时表较小且key集中，使得分发到某一个或几个reduce上的数据远高于平均值

2）大表与大表join，分桶的判断字段或空值过多，而这些控制都是由一个reduce处理的

3）groupby时维度过小，某值得数量过多，处理某值的reduce很耗时

4）conut distinct时某特殊值过多，处理比特殊值reduce耗时

解决方案：1)hive基础调优(参考我的博文：https://blog.csdn.net/wx740851326/article/details/80915867)

2）合理设计表结果，使得key值均匀分布

3）groupby时增加维度，使数据分散开

4）null值单独处理