采用celery中group方式进行批量异步调用,且需要等待返回结果时(未设置超时时间),以下两种情况会导致任务一直等待结果:
1. 如果异步方法对异常未进行处理,直接抛出,则会导致group的job一直等待结果,如下代码:
@shared_task(bind=True)
def test_task_method(self, number, is_ignore_exception):
try:
logger.info('enter method')
# if number % 10 == 0:
# raise Exception('throw exception')
time.sleep(15)
except Exception:
logger.info(traceback.format_exc())
if not is_ignore_exception:
raise
2. celery出现任务task丢失情况,实际执行任务与期待任务数量不符合,则会一直等待结果。因为可能部分开发者对查看Broker和celery执行的情况命令不熟悉,这里推荐安装Flower监控celery,文档参考Flower文档。
在执行中观察celery是否掉线,如下图:
如果出现掉线,则查看celery日志或者系统日志(/var/log/message)查看是存在进程被kill情况,如下图: