阿里、字节offer收割系列：数据仓库岗（面试真题，建议收藏）

3）Spark中的数据倾斜

Spark中的数据倾斜，包括Spark Streaming和Spark Sql，表现主要有下面几种：

1. Executor lost，OOM，Shuffle过程出错；

2. Driver OOM；

3. 单个Executor执行时间特别久，整体任务卡在某个阶段不能结束；

4. 正常运行的任务突然失败；

二、数据倾斜产生原因

---

我们以Spark和Hive的使用场景为例。

他们在做数据运算的时候会涉及到，count distinct、group by、join on等操作，这些都会触发Shuffle动作。一旦触发Shuffle，所有相同key的值就会被拉到一个或几个Reducer节点上，容易发生单点计算问题，导致数据倾斜。

一般来说，数据倾斜原因有以下几方面：

1**）key分布不均匀**

2**）建表时考虑不周**

我们举一个例子，就说数据默认值的设计吧，假设我们有两张表：

user（用户信息表）：