解决Spark数据倾斜问题

背景：一个Spark任务定时任务，每天8点-22点30分每隔半小时跑一次，一直没问题，有一天22：30分区失败，运行超时，从此每天都最后一个分区运行超时

从截图可以看出，任务从早到晚执行时间逐渐增加 。数据跑的都是当前的全量，唯一的区别就是表数据前一天的全量表（每天跑全量整合一次）+当前天的增量，增量部分是通过flink写入的，每隔半小时大概会有60万数据新增

在数据方面，不会有太大的区别，提示数据倾斜，首先通过group by 订单号 order by 订单号 desc 查看数据是否倾斜，未发现有null情况，因为表关联之间通过订单号，所有也不可能存在大量相同的key。查看spark job执行情况。

 产出大量小任务，任务最大的停留时间不超过1.5min,整个任务不足50M,因为有些任务处理时间几个小时，成功的任务也就几分钟，故则被认为数据倾斜

 通过查询成功执行的spark job，并没有产生这么多的小任务。小任务多严重影响了执行效率，推测可能是该问题造成。

查看spark SQL内容，发现设置了以下参数

set spark.sql.shuffle.partitions=1100;

该参数能提升任务并行度从而提升速度，相应的会产生小任务

去掉，执行之后，任务能成功执行成功，但是花费了接近2-3小时。

加上 set spark.sql.adaptive.enabled=true; 后效果并没有多大提升

这时候考虑提升资源（无论什么，提升资源是最暴力的解决方法，也是有效的）

从-executor-cores=4,spark.driver.memory=4g,-executor-memory=g6

修改为

-executor-cores=4,spark.driver.memory=12g,-executor-memory=20g

并且将set spark.sql.shuffle.partitions=1100;加上

这个时候，任务基本能在20分钟内执行成功

这个任务首先有十几张表独立的group by操作，可以提升并行度处理，最后十几张表联表整合，可以设置任务合并，减少小任务，并且提升资源，保证整体可用

在此之外，还做了以下操作：

1，删除多余的group by 语句

2，列剪裁，只取需要的列，不用select *