数据倾斜在MapReduce编程模型中十分常见,多个节点并行计算,如果分配的不均,就会导致长尾问题(大部分节点都完成了任务,一直等待剩下的节点完成任务),本文梳理了常见的发生倾斜的原因以及相应的解决办法。
1.map端发生数据倾斜
产生原因:
-
读取数据时,上游文件大小分布不均,存在大量小文件。导致在读入数据时读小文件的maptask很快结束了,而读大文件的maptask进度可能进度才刚开始。
-
map端做聚合的时候,由于数据存在大量的count distinct,我们通过combiner在map端提前做聚合的时候,热点key被放大N倍( N = count distinct 数),其所对应的maptaskconbiner操作时间被拉长。
解决办法:
对于1的问题,我们可以通过提前合并小文件和参数调优,一个是maptask的数量,另一个是maptask读取的文件数量限制。
对于2的问题,我们可以通过使用distribute by rand(),将map里面的值再进行打乱分发。
2.join时发生数据倾斜
首先我们可以了解一下mapreduce框架下的join的实现原理
感兴趣的同学可以去看美团的文章。