Celery批量异步调用任务一直等待结果

采用celery中group方式进行批量异步调用,且需要等待返回结果时(未设置超时时间),以下两种情况会导致任务一直等待结果:

1. 如果异步方法对异常未进行处理,直接抛出,则会导致group的job一直等待结果,如下代码:

@shared_task(bind=True)
def test_task_method(self, number, is_ignore_exception):
    try:
        logger.info('enter method')
        # if number % 10 == 0:
        #     raise Exception('throw exception')
        time.sleep(15)
    except Exception:
        logger.info(traceback.format_exc())
        if not is_ignore_exception:
            raise

2. celery出现任务task丢失情况,实际执行任务与期待任务数量不符合,则会一直等待结果。因为可能部分开发者对查看Broker和celery执行的情况命令不熟悉,这里推荐安装Flower监控celery,文档参考Flower文档

在执行中观察celery是否掉线,如下图:

如果出现掉线,则查看celery日志或者系统日志(/var/log/message)查看是存在进程被kill情况,如下图:

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值