【图文详细 】数据倾斜

1、什么是数据倾斜？

由于数据分配不均匀，造成数据大量集中到一点，造成数据热点

 

2、Hadoop框架的特点

    A、不怕数据大，怕数据倾斜

    B、Jobs 数比较多的作业运行效率相对比较低，如子查询比较多

    C、 sum,count,max,min 等聚集函数，通常不会有数据倾斜问题 

3、主要表现

任务进度长时间维持在99%或者100%附近，查看任务监控页面，，发现只有少量 reduce 子任务未完成，因为其处理的数据量和其他的 reduce 差异过大。 单一 reduce 处理的记录数和平均记录数相差太大，通常达到好几倍之多，最长时间远大 于平均时长。 
 

4、容易数据倾斜情况 

    A、group by 不和聚集函数搭配使用的时候

    B、count(distinct)，在数据量大的情况下，容易数据倾斜，因为 count(distinct)是按 group by 字段分组，按 distinct 字段排序      C、 小表关联超大表 join  

5、产生数据倾斜的原因：

    A：key 分布不均匀

    B：业务数据本身的特性

    C：建表考虑不周全

    D：某些 HQL 语句本身就存在数据倾斜