数据倾斜总结

总结阿里巴巴大数据之路
一 map倾斜
1 概念
1. 1 map的主要作用是将磁盘的数据加载到内存中，按照设定的规则，映射落地到不同的文件。
1.2 map的执行者是map task，task的数量取决于分片的大小。
2 导致倾斜的原因
2.1 上游的文件大小不均匀，小文件过多。
2.2 个别文件的单个值特别多，数据分散度不够
3 方案
3.1 针对2.1的问题，有以下解决思路，
①在文件存入hdfs时或者存入hdfs后进行小文件合并
②合理设置分片大小
3.2 针对2.2问题,可以distribute by rand ()分散热点数据。
二 join倾斜
1 概念
1.1 包含map和reduce两个阶段，两边通过key附加表信息进行连接
2 导致倾斜的原因
join 的key，个别值数量非常大，造成数据倾斜。
3 方案
3.1 一个大表一个小表，使用mapjoin，把小表放到内存
3.2 两个大表，空置过多造成倾斜，将空值加随机前缀
3.3 两个大表，个别字段值过多造成倾斜，将热点值和非热点值单独处理，然后合并
三 reduce倾斜
1 概念
Reduce 端负责的是对 Map 端梳理后的有 key-value 键值对进行聚合.
2 导致倾斜的原因
2.1 map 端做聚合时key分布不均
2.2 map聚合后产生过多小文件
2.3 多个distinct出现在同一段sql中
3 方案
3.1 针对2.1，可以将热点值和非热点值单独处理，然后合并
3.2 针对2.2，调节参数，减少小文件的数量
3.3 针对2.3，多次查询，通过嵌套降低计算数据量，内层的group+count代替distinct功能(保持粒度不变)
count(distinct buyer_id)==原表粒度+buyer_id+group by求出每个用户的购买次数，原表粒度+group by得出每个商品的购买次数