hive避免数据倾斜问题总结（个人总结，方便日后复习）

hive数据倾斜大多是因为主键分布不均，节点之间的数据量差异太大。所以解决方法都是围绕如何分散倾斜的数据（也就是均匀分配主键key值）

first：一般都是一些Map Join,Bucket Map Join,SMB Join.一般这些不需要考虑，这些配置文件基本上中台都会配置，用不到自己去操作。

second：①key值分配不均匀

加盐操作：

1.与另一个字段组合如学号组成新字段，按新字段分组
2.使用随机数与性别做组合，形成新字段，按新字段分组
两种方法目的一样，都是让数据能够分散到不同的节点中，保证相对均衡

②key空值太多

1.主键为空的数据先不参与计算，最后使用union all 进行合并

2.给空值分配随机的key值，可以分配平均数，随机数，中位数，但是空值大多为主键，用concat其他列，hash值就不一样。（用新生成的一列为主键，原字段不做更改）