一、含义、危害
计算数据时,数据分散度不够,导致大量数据集中到一台或几台机器上计算。
局部计算远低于平均计算速度,整个过程过慢。
部分任务处理数据量过大,可能OOM,任务失败,进而应用失败。
二、现象、原因
1、现象:(Spark日志或监控)
1、Executor lost、(Driver)OOM、Shuffle过程出错;
2、正常运行任务突然失败;
3、单个Executor执行时间特别久,整体任务卡在某个阶段不结束;
Spark Streaming更容易出现数据倾斜,特别是包含SQL的join、group操作,因为内存分配不多,很容易出现数据倾斜,造成OOM。
2、原因
数据倾斜只会发生在shuffle阶段。进行shuffle时,必须将各个相同Key拉取到某个节点的一个task进行处理,如按照key进行聚合或join,某个key对应数据量特别大,就会发生数据倾斜。
触发shuffle算子:distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。