数据倾斜调优

在Spark中，同一个Stage的不同Partition可以并行处理，而具有依赖关系的不同Stage之间是串行处理的。
假设某个Spark Job分为Stage 0和Stage 1两个Stage，且Stage 1依赖于Stage 0，那Stage 0完全处理结束之前不会处理Stage 1。
而Stage 0可能包含N个Task，这N个Task可以并行进行。如果其中N-1个Task都在10秒内完成，而另外一个Task却耗时1分钟，那该Stage的总时间至少为1分钟。换句话说，一个Stage所耗费的时间，主要由最慢的那个Task决定。
由于同一个Stage内的所有Task执行相同的计算，在排除不同计算节点计算能力差异的前提下，不同Task之间耗时的差异主要由该Task所处理的数据量决定。

Stage的数据来源主要分为如下两类

• 从数据源直接读取。如读取HDFS，Kafka
• 读取上一个Stage的Shuffle数据

解决办法

详细过程参考 http://www.jasongj.com/spark/skew/

• 避免数据源的数据倾斜
• 调整并行度分散同一个Task的不同Key
• 自定义partitioner
• 将Reduce side Join转变为Map side Join
• 为skew的key增加随机前/后缀
• 大表随机添加N种随机前缀，小表扩大N倍