spark sql 查询hive task过多导致任务执行缓慢

一、问题

跑了一年多的spark sql任务突然挂掉了，查看yarn的界面，任务并行度达到了恐怖的81835个,运行速度自然也快不到哪去。spark任务界面如下图所示

二、解决

1.排查过程

sql类似于下面这段sql,开始以为是先join再where过滤导致数据量特别大导致task过多(想法是错误的后面验证了是先过滤再进行join的)
select * from A join B on A.c=B.c WHERE A.date=2020-08-20 and B.date=2020-08-20
-想法1:改为临时表先进行过滤,结果发现task个数还是没变

再看了下入参的hive表下的文件个数