什么是数据倾斜

什么是数据倾斜

数据倾斜产生的原理

数据倾斜的根本原因是数据的key分布不均，个别key数据很多，超出了计算节点的计算能力的结果，导致大部分节点已经计算完，但被分配大量key相同数据的节点迟迟无法计算完。

如何判断数据是否出现倾斜

1、分析节点资源管理器，如果大部分节点已经执行完成，而个别节点长时间执行不完，很可能发生了数据倾斜；

2、分析执行日志，作业在reduce阶段停留在99%，很长时间完成不了，很可能发生了数据倾斜。

常见的可能出现数据倾斜的操作

1 group by操作

2 distinct count（distinct xxx）

3 小表join大表

4 大表join小表

数据倾斜的可能原因

1.数据分布不均：在MapReduce任务中，数据的分布可能不均匀，导致某些Mapper节点处理的数据量远大于其他节点，从而导致数据倾斜。

2.键分布不均：在MapReduce任务中，如果键的分布不均匀，也会导致某些Reducer节点处理的数据量远大于其他节点，从而导致数据倾斜。

3.数据倾斜的键：在MapReduce任务中，如果某些键的数据量远大于其他键，也会导致数据倾斜。

4.数据倾斜的值：在MapReduce任务中，如果某些键对应的值的数据量远大于其他键对应的值，也会导致数据倾斜。

5.数据倾斜的计算逻辑：在MapReduce任务中，如果某些计算逻辑导致某些节点的计算量远大于其他节点，也会导致数据倾斜。

数据倾斜的一般解决方法

1.数据预处理：在MapReduce任务之前，对数据进行预处理，使得数据分布更加均匀。

2.数据重分区：在MapReduce任务中，对数据进行重分区，使得数据分布更加均匀。

3.Combiner函数：在MapReduce任务中，使用Combiner函数对Mapper节点输出的数据进行合并，减少数据传输量。

4.动态调整Reducer数量：在MapReduce任务中，根据数据分布情况动态调整Reducer节点的数量，使得每个节点处理的数据量更加均匀。

5.随机化键：在MapReduce任务中，对键进行随机化处理，使得键的分布更加均匀。

6.采用其他计算框架：在MapReduce任务中，采用其他计算框架，例如Spark、Flink等，可以更好地处理数据倾斜问题。

具体场景

hive参数调优方法解决数据倾斜

set hive.map.aggr=true;

开启map端聚合，效率更高但需要更多的内存

set hive.groupby.skewindata=true;

开启group by数据倾斜时负载均衡，生成的查询计划会有两个MRJob，如下图所示：

第一个MRJob 中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是key相同的数据有可能被分发到不同的Reduce中，从而达到负载均衡的目的；

第二个MRJob再根据预处理的数据结果按照Key分布到Reduce中（这个过程可以保证相同的Key被分布到同一个Reduce中），最后完成最终的聚合操作

join操作所产生的数据倾斜解决方法

1 由于空值所产生的数据倾斜

解决方法：可以选择先将空值过滤掉，如果由于某些原因控制无法过滤，那就给空值填入一个不影响其他数据的随机数。

2 将不同数据类型进行关联时会产生数据倾斜，例如将int类型数据和string类型数据关联时，会导致string类型数据被分配到同一个reduce中

解决方法：可以将数字类型转化成字符串类型

3 小表与大表进行join操作会产生数据倾斜

解决方法：尽量使用map join，而不是reduce join。即让小表全部加载进内存中。如果小表过大可以使用侧视图对小表扩容。