spark中的数据倾斜的现象、原因、后果

• (1)、数据倾斜的现象

  • 多数task执行速度较快,少数task执行时间非常长，或者等待很长时间后提示你内存不足，执行失败。

• (2)、数据倾斜的原因

  • 数据问题

    • 1、key本身分布不均衡（包括大量的key为空）

    • 2、key的设置不合理

  • spark使用问题

    • 1、shuffle时的并发度不够

    • 2、计算方式有误

• (3)、数据倾斜的后果

  • 1、spark中的stage的执行时间受限于最后那个执行完成的task,因此运行缓慢的任务会拖垮整个程序的运行速度（分布式程序运行的速度是由最慢的那个task决定的）。

  • 2、过多的数据在同一个task中运行，将会把executor撑爆。