weixin_43828782的博客

原创 spark sql 查询hive task过多导致任务执行缓慢

一、问题 跑了一年多的spark sql任务突然挂掉了，查看yarn的界面，任务并行度达到了恐怖的81835个,运行速度自然也快不到哪去。spark任务界面如下图所示 二、解决 1.排查过程 sql类似于下面这段sql,开始以为是先join再where过滤导致数据量特别大导致task过多(想法是错误的后面验证了是先过滤再进行join的) select * from A join B on A.c=B.c WHERE A.date=2020-08-20 and B.date=2020-08-20 想法1:改