presto任务卡住不继续执行

当你的presto任务非直接报错,只是卡在了 XX% 这种运行状态不动时,尤其像我现在使用的集群这样一个任务随随便便就是TB级数据,有时伴随queryid旁边有黄色感叹号,如下
在这里插入图片描述
你要检查你的sql,99%有一下原因之一:
1、检查你的数据切片是否导致任务的数据集很大,这种情况通常导致执行阶段出现压力异常问题,此时减少切片,分多次写入,或者用个中间表,分步聚合
2、不同表之间的连接条件是否有误,尤其是某一个连查字段有空值的时候,这会影响presto执行计划导致进入死循环
3、是否有大量数据在同一个select中做成本很高的计算,比如多个字段在数据量本身很大的情况下在同一个select里面一起去重等,这种情况不止要减少计算的数据,还要将多个字段使用with as的方式分成多个临时表计算
4、至于黄色感叹号,通常是因为注释符号和注释内容之间有空格,或者语句格式有问题,导致引擎识别语法有警告,不过通常不影响任务

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值