Hive数据倾斜判断依据及解决办法

定义

在分布式系统中，结果集合往往按照分片（slices）存储和处理，数据倾斜（Data Skew）主要是指数据分片的不均匀分布。不同的组件会产生不同的倾斜。

组件	倾斜现象
Kafka	Kafka 数据倾斜：大量数据被发送到了Kafka 中一个partition。
Spark	Spark 数据倾斜：大量数据被发送到了Spark 的一个task。
Hive	Hive 数据倾斜：大量数据被发送到了Hive 的一个reduce。分为Mapper Skew和Reducer Skew
Redis	大量数据都存到了Redis 集群中的一个节点中

如何判断是否发生了数据倾斜

• 方法1：通过时间判断：如果某个 reduce 的时间比其他 reduce 时间长的多，

分析执行日志，作业在reduce阶段停留在99%，很长时间完成不了，很可能不分任务执行时间较短，部分任务执行时间较长。下图来自于Dr.drelephant，GroupA 110个任务平均每个5MB，而Group 25个任务平均128MB。时间倾斜，GroupA 110个任务耗时6min，GroupB共25个任务，每个128MB，其余运行时间是26分钟。

• 方法2：分析执行日志，作业在reduce阶段停留在99%，很长时间完成不了，很可能发生了数据倾斜。

如何解决？

Group by 聚合倾斜

原因

分组的维度过少，每个维度的值过多，导致处理某值的reduce耗时很久；
对一些类型统计的时候某种类型的数据量特别多，其他的数据类型特别少。当按照类型进行group by的时候，会将相同的group by字段的reduce任务需要的数据拉取到同一个节点进行聚合，而当其中每一组的数据量过大时，会出现其他组的计算已经完成而这个reduce还没有计算完成，其他的节点一直等待这个节点的任务执行完成，所以会一直看到map 100% reduce99%的情况；

解决办法

-- 是否开启map的聚合(默认为true)
set h