CC00108.spark——|Hadoop&Spark.V06|——|Spark.v06|Spark 原理 源码|数据倾斜&基本概念|

一、数据倾斜

### --- 基本概念

~~~     这是我们期望的处理模式：

### --- 什么是数据倾斜

~~~     Task之间数据分配的非常不均匀
~~~     key.hashCode % reduce个数 = 分区号

### --- 数据倾斜有哪些现象

~~~     Executor lost、OOM、Shuffle过程出错、程序执行慢
~~~     单个Executor执行时间特别久，整体任务卡在某个阶段不能结束
~~~     正常运行的任务突然失败大多数 Task 运行正常，个别Task运行缓慢或发生OOM

### --- 数据倾斜造成的危害有哪些

~~~     个别任务耗时远高于其它任务，轻则造成系统资源的浪费，
~~~     使整体应用耗时过大，不能充分发挥分布式系统并行计算的优势
~~~     个别Task发生OOM，导致整体作业运行失败

### --- 为什么会发生数据倾斜

~~~     数据异常
~~~     参与计算的 key 有大量空值(null)，这些空值被分配到同一分区

### --- Map Task数据倾斜，主要是数据源导致的数据倾斜：

~~~     数据文件压缩格式(压缩格式不可切分)
~~~     Kafka数据分区不均匀

### --- Reduce task数据倾斜(重灾区，最常见)：

~~~     Shuffle (外因)。Shuffle操作涉及到大量的磁盘、网络IO，对作业性能影响极大
~~~     Key分布不均 (内因)

### --- 如何定位发生数据倾斜

~~~     凭借经验或Web UI，找到对应的Stage；再找到对应的 Shuffle 算子