spark调优(3)之高级调优

数据倾斜调优

在进行shuffle的时候，必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理，比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话，就会发生数据倾斜。
1.定位
shuffle操作的算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等
2.数据倾斜的解决方案
解决方案一：使用Hive ETL预处理数据
解决方案二：过滤少数导致倾斜的key
解决方案三：提高shuffle操作的并行度
解决方案四：两阶段聚合（局部聚合+全局聚合）
解决方案五：将reduce join转为map join
解决方案六：采样倾斜key并分拆join操作

shuffle调优

进行shuffle相关参数调优
Spark性能优化指南——高级篇 (很详细): link.
有图解：数据倾斜是多么痛？Spark作业调优秘籍: link.