分布式任务队列 Celery — 详解工作流

范桂飓

已于 2022-02-05 15:39:34 修改

阅读量5.3k

点赞数 1

分类专栏：架构师之路专栏文章标签：函数分布式 workflow 实例

于 2018-01-15 23:34:13 首次发布

本文链接：https://blog.csdn.net/jmilk/article/details/79070043

版权

架构师之路专栏专栏收录该内容

100 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Celery的工作流，包括任务签名、偏函数和回调函数的概念。任务签名支持直接执行和worker执行，偏函数固化了部分参数。回调函数在任务成功或失败时执行。工作流中，group任务组实现并行执行，chain任务链实现串行执行，chord复合任务结合并行和串行，chunks任务块用于大量对象的分块处理，而map/starmap则提供任务映射功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前文列表

分布式任务队列 Celery

前言

Celery 的工作流具有非常浓厚的函数式编程风格，在理解工作流之前，我们需要对「签名」、「偏函数」以及「回调函数」有所了解。

文中所用的示例代码紧接前文，其中 taks.py 模块有少量修改。

# filename: tasks.py
from proj.celery import app

@app.task
def add(x, y, debug=False):
    if debug:
        print("x: %s; y: %s" % (x, y))
    return x + y

@app.task
def log(msg):
    return "LOG: %s" % msg