【Spark】数据倾斜

一、含义、危害

计算数据时，数据分散度不够，导致大量数据集中到一台或几台机器上计算。

局部计算远低于平均计算速度，整个过程过慢。
部分任务处理数据量过大，可能OOM，任务失败，进而应用失败。

二、现象、原因

1、现象：（Spark日志或监控）

1、Executor lost、（Driver）OOM、Shuffle过程出错；
2、正常运行任务突然失败；
3、单个Executor执行时间特别久，整体任务卡在某个阶段不结束；

Spark Streaming更容易出现数据倾斜，特别是包含SQL的join、group操作，因为内存分配不多，很容易出现数据倾斜，造成OOM。

2、原因

数据倾斜只会发生在shuffle阶段。进行shuffle时，必须将各个相同Key拉取到某个节点的一个task进行处理，如按照key进行聚合或join，某个key对应数据量特别大，就会发生数据倾斜。

触发shuffle算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。

三、定位

1、Sp