azkban设置重试不起作用,且有的任务一直running,无日志

job脚本

# foo.job
type=command
command=su olc_pro -c "bash /app/script/python_common_file/pymain.sh coupon_user_active.py"
retries=3
retry.backoff=100000  #代表重试间隔时间

现象:

最近几次,在新上线的任务中,发现其中一个job报错并没有执行失败重试的操作,更糟糕的是也导致其他job都无法运行,且无日志可查看
在这里插入图片描述
如图,第一个任务失败,第二个任务会一直running,打开右边的log发现全部都是空白。且整体任务已经显示了failed

经追查,打开flow_log发现
在这里插入图片描述
发现任务已经在准备retry,但是在retry的过程中好像把重试时间间隔识别成了字符串。

解决方案:

经过多次尝试发现 retry.backoff=100000 后面不能添加任何东西,且不能有空字符串,这样才可以正常重试且不报错

```# foo.job
type=command
command=su olc_pro -c "bash /app/script/python_common_file/pymain.sh coupon_user_active.py"
retries=3
retry.backoff=100000

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 可能是因为任务出现了一些问题,导致无法正常结束。建议检查任务日志,查看是否有异常信息。同时,也可以尝试手动停止该任务,释放占用的内存资源。如果问题仍然存在,可以考虑重新启动Hive on Spark服务,或者联系相关技术支持人员进行排查。 ### 回答2: Hive on Spark 是将Hive 使用 Spark 作为执行引擎的一种方式。如果 Hive on Spark 任务的状态一直running,并且占用的内存资源无法释放,可能有以下几个原因: 1. 数据量过大:如果任务处理的数据量过大,可能会导致 Spark 作业无法及时完成,从而导致任务一直处于 running 状态。可以考虑增加集群的计算资源或者对数据进行分区,以提高任务的执行效率。 2. 资源配置不合理:Spark 作业需要合适的资源配置才能高效执行。如果分配的资源不足,可能导致任务长时间处于 running 状态。可以检查集群的配置参数,例如 executor 内存、executor 数量等是否合理,可以适当增加资源分配来提升任务执行的速度。 3. 网络或存储问题:如果集群的网络或存储出现问题,可能导致任务执行缓慢或者无法正常完成。可以检查集群的网络连接是否正常、存储是否故障,并进行相应的修复或调整。 4. 可能存在死锁:如果任务中存在死锁情况,可能会导致任务无法继续执行,从而一直处于 running 状态。可以检查任务中的逻辑是否存在死锁情况,并尝试优化任务的执行计划,以避免死锁的发生。 以上是可能导致 Hive on Spark 任务一直处于 running 状态且无法释放内存资源的几个常见原因。根据具体的情况,可以采取相应的调整和优化措施来解决问题。 ### 回答3: Hive on Spark是将Hive与Spark进行整合的一种方式,通过这种方式,可以执行Hive的SQL查询,并利用Spark的计算能力加速查询的执行。然而,在使用Hive on Spark时,有时可能会遇到任务状态一直running,并且无法释放占用的内存资源的情况。 导致此问题的可能原因有以下几个方面: 1. 数据量过大:如果要处理的数据量很大,可能会导致任务运行时间变长,同时占用的内存资源也无法及时释放。此时,可以通过增加集群的内存资源来改善这个问题。 2. 并发查询过多:如果同时有多个查询在运行,并且资源配置不合理,可能会导致内存资源被不当分配,从而造成任务无法及时释放。可以通过调整资源配置,限制并发任务的数量来解决这个问题。 3. 配置参数不合理:Hive on Spark有一些相关的配置参数,如内存分配、执行模式等,如果配置不合理,可能会导致任务状态一直running,并且无法释放资源。可以通过重新设置这些配置参数来解决这个问题。 4. Spark版本不兼容:Hive on Spark依赖于Spark的版本,如果版本不兼容,可能会导致任务无法正常执行。可以尝试升级或降级Spark的版本来解决这个问题。 总之,当使用Hive on Spark时,任务状态一直running并且无法释放资源,可能是由于数据量过大、并发查询过多、配置参数不合理或Spark版本不兼容等原因导致的。根据具体情况,适当调整资源配置、重新设置相关参数或升级/降级Spark版本,可以帮助解决这个问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值