数据倾斜

数据倾斜的原因：

数据倾斜与业务逻辑和数据量有关

在MapReduce程序中，数据倾斜主要发生在某个key的数据量较大，此key分散到某个reduce造成reduce阶段的缓慢甚至卡顿。

在Spark程序中，同一个Stage的不同Partition可以并行运行，而具有依赖关系的Stage是串联的。Stage中包含多个Task是可以并行运行的，但是如果某一个task损耗的时间过长，则当前Stage的总运行时间至少是最慢的哪个task的运行时间，下一个关联的Stage也不能运行，进而造成数据倾斜。

解决方案

MapReduce的解决方案：

• 调优参数：在map中做部分聚集操作，效率更高但需要更多内存
• 在map阶段将造成倾斜的key先分成多组，比如加后缀的方式
• 能先进行group操作的时候先进行group，把key先进行一次reduce
• join操作，使用map join在map端先进行join，免得reduce时卡住
• 增加reduce的JVM内存、reduce个数
• distinct

Spark的解决方案

• 聚合源数据：Spark的数据源主要是hive、kafka等。可以处理好kafka相关topic的各Partition之间数据是否平衡，这直接决定Spark处理该数据时是否会产生数据倾斜。
• 过滤导致倾斜的key
• 通过shuffle操作提高reduce并行度
• 使用随机key实现双重聚合
• 将reduce join转换成map join

传送门：

MapReduce优化参考

Spark优化参考