Hive数据倾斜以及解决方案

发生数据倾斜的原因：1.任务重需要处理大量相同的key的数据。2.任务读取不可分割的大文件

数据倾斜问题主要有以下几种：
1.空值引发的数据倾斜

• 直接不让null值参与join操作，即不让null值有shuffle阶段
• 给null值随机赋值。

2.不同数据类型引发的数据倾斜

• 将不同数据类型转换为相同的数据类型。

3.不可拆分大文件引发的数据倾斜

• 在数据压缩时，选择支持切分的压缩算法

4.数据膨胀引发的数据倾斜

• 在Hive中可以通过参数 hive.new.job.grouping.set.cardinality 配置的方式自动控制作业的拆解，该参数默认值是30。

5.表连接时引发的数据倾斜

• 通常做法是将倾斜的数据存到分布式缓存中，分发到各个Map任务所在节点。在Map阶段完成join操作，即MapJoin，这避免了 Shuffle，从而避免了数据倾斜。

6.确实无法减少数据量引发的数据倾斜

• 这类问题最直接的方式就是调整reduce所执行的内存大小。调整reduce的内存大小使用