数据倾斜知识点

1、什么是数据倾斜
数据倾斜就是大量数据分布不均衡，数量过多的那个值会导致处理该值的节点疲惫处理然后GG。

2、比较容易发生数据倾斜的情况
A、小表与大表进行join关联的时候
B、对数据进行group by，没有和聚合函数搭配使用的时候
C、null值过多的时候

3、产生数据倾斜的原因
A：键值过多分布不均衡
　　B：业务数据本身的特性
　　C：建表考虑不周全
　　D：某些 HQL 语句本身就存在数据倾斜

4、业务场景
（1）空值产生的数据倾斜
场景说明
在日志中，常会有信息丢失的问题，比如日志中的 user_id，如果取其中的 user_id 和用户表中的 user_id 相关联，就会碰到数据倾斜的问题。

解决方案
解决方案 1：user_id 为空的不参与关联

select * from log a join user b on a.user_id is not null and a.user_id = b.user_id
union all
select * from log c where c.user_id is null;
解决方案 2：赋予空值新的 key 值

select * from log a left outer join user b on
case when a.user_id is null then concat(‘hive’,rand()) else a.user_id end = b.user_id
总结