celery timeout的拦截

0X01 场景

celery任务超时报错，想查看是传入哪一类数据运行时导致的超时（哪一个插件），但是该报错难以拦截。

[2019-06-30 17:23:21,070: ERROR/MainProcess] Task tasks.sum[8c81398b-4378-401d-a674-a3bd3418ccde] raised unexpected: TimeLimitExceeded(5.0,)
Traceback (most recent call last):
  File "/home/apernin/.virtualenvs/dr/local/lib/python2.7/site-packages/billiard/pool.py", line 645, in on_hard_timeout
    raise TimeLimitExceeded(job._timeout)
TimeLimitExceeded: TimeLimitExceeded(5.0,)

该超时报错属于celery worker(MainProcess)调用时超时的报错，无法在任务中拦截。

0X02 方法

一

使用 soft_time_limit参数。

time_limit参数超时直接kill掉；

soft_time_limit参数超时时会报错而不会kill，可以捕获。

@app.task(name='tasks.main', bind=True, soft_time_limit=2, errback=error_fun)
def tas