数据库之如何应对数据倾斜

面试中，学习中，工作中常常会遇到数据倾斜，那么数据倾斜到底是什么意思？如何应对数据倾斜呢？

什么是数据倾斜

数据倾斜直观来说，就是描述当你的sql任务运行到99%时，很久都等不到任务完结的情况。

数据倾斜的几个经典情况

个人总结了以下数据倾斜，大致分为以下几个情况
1.大量NULL导致的数据倾斜
2.大小表连接导致的数据倾斜
3.count(distinct)导致的数据倾斜
4.不同数据类型导致的数据倾斜
5.reduce数量太少
6.数据分布严重不均衡（其实1也是其中这一种情况）

1.大量空值带来的数据倾斜

当数据表中有大量的空值时，由于NULL都分配到一个reducer了，处理的速度自然而然就慢了。此时其他reducer任务已经完成，就表现出99%的进程已完成。但素，任务僵持不动了。
应对方案：就是给这些控制赋予一个随机数。

select a,count(b)
from table