一、什么是数据倾斜
简单来说,数据倾斜就是数据的分布不平衡,在处理数据时有些很快处理完,而有些又迟迟未能处理完,导致整体任务最重迟迟无法完成,这种现象就是数据倾斜造成的。
数据倾斜就是key分布不均匀,分发到不同的reduce上,个别reduce任务特别重,导致其他reduce都完成,而这些个别的reduce迟迟不完成的情况。
二、数据倾斜原因
导致数据倾斜的原因有:
- key分布不均匀
- map端数据倾斜,输入文件太多且大小不一
- reduce端数据倾斜,分区器问题
- 某些sql语句本身容易产生数据倾斜
- 业务数据本身的特征
三、数据倾斜的解决方案
3.1 参数调节
hive.map.aggr=true
Map端部分聚合,相当于Combiner
hive.groupby.skewindata=true
3.2 SQL语句调节
如何Join:
选取Join Key分布最均匀的表作为驱动表,做好列裁剪和filter操作,已达到两表做join的时候,数据量相对变小的效果。
大小表Join:
使用map join让小的维度表(1000条以下的记录条数)先进内存,在map端完成reduce。