Spark 3.1.1遇到的 BroadcastQueryStageExec timeout

背景

这是在3.1.1版本中自适应执行(AQE)存在的broadcast timeout的问题，具体的问题如下：

Caused by: org.apache.spark.SparkException: Could not execute broadcast in 1200 secs. You can increase the timeout for 
broadcasts via spark.sql.broadcastTimeout or disable broadcast join by setting spark.sql.autoBroadcastJoinThreshold to -1
                at org.apache.spark.sql.execution.adaptive.BroadcastQueryStageExec$$anon$1.run(QueryStageExec.scala:217)

主要的问题是在于AQE阶段的任务的提交是同时提交且异步的，如果存在broadcast和shuffle，且shuffle占用了大量的资源以后，导致broadcast的job
没有资源导致broadcast超时，主要原因还是资源不够。

分析

1. 该问题虽然在3.1.x版本有修复，但是修复的并不完全，具体可以参考 SPARK-33933
2. 该问题在3.2版本进行了完全修复，具体可参考SPARK-36414

解决

目前该问题的解决是通过合并3.2已有的PR解决，目前合并的PR有
pr-33636
以及依赖的PR pr-33058