hive数据倾斜

造成数据倾斜的原因：

key 分布不均匀

业务数据本身的特性

建表考虑不周全

某些 HQL 语句本身就存在数据倾斜

产生数据倾斜的业务场景

1.空值产生的数据倾斜

在日志中，常会有信息丢失的问题，比如日志中的 user_id，如果取其中的 user_id 和用户表中的 user_id 相关联，就会碰到数据倾斜的问题。

解决方案 1：user_id 为空的不参与关联

select * from log a join user b on a.user_id is not null and a.user_id = b.user_id

解决方案 2 赋予空值新的 key 值

select * from log a left outer join user b on
case when a.user_id is null then c