数据倾斜常见原因和解决办法

数据倾斜在MapReduce编程模型中十分常见，多个节点并行计算，如果分配的不均，就会导致长尾问题（大部分节点都完成了任务，一直等待剩下的节点完成任务），本文梳理了常见的发生倾斜的原因以及相应的解决办法。

1.map端发生数据倾斜

产生原因：

1. 读取数据时，上游文件大小分布不均，存在大量小文件。导致在读入数据时读小文件的maptask很快结束了，而读大文件的maptask进度可能进度才刚开始。

2. map端做聚合的时候，由于数据存在大量的count distinct,我们通过combiner在map端提前做聚合的时候，热点key被放大N倍（ N = count distinct 数），其所对应的maptaskconbiner操作时间被拉长。

解决办法：

对于1的问题，我们可以通过提前合并小文件和参数调优，一个是maptask的数量，另一个是maptask读取的文件数量限制。

对于2的问题，我们可以通过使用distribute by rand(),将map里面的值再进行打乱分发。

2.join时发生数据倾斜

首先我们可以了解一下mapreduce框架下的join的实现原理