django-celery 创建多个broker队列 异步执行任务时指定队列

一.这里不再详细述说 django 框架中如何使用celery, 重点放在如何实现创建多个队列, 并指定队列存放异步任务

    笔者使用   django-celery==3.2.2 模块, 配置项及配置参数, 启动方式请查看官方文档.

二.在settings.py配置文件中添加配置, 开启多队列(前提是已经配置好启动celery worker的相关配置项, 建议使用多队列, 一个队列对应一个worker, 而不是多个worker对应一个队列)

from kombu import Exchange, Queue

# 定义celery各个队列的名称
CELERY_QUEUES = (
    Queue("import_task", Exchange("import_task"), routing_key="task_a"),
    Queue("normal_task", Exchange("normal_task"), routing_key="task_b")
)

CELERY_ROUTES = {
    "tasks.taskA": {"queue": "import_task", "routing_key": "task_a"},
    "tasks.taskB": {"queue": "normal_task", "routing_key": "task_b"}
}

# 注意: 使用 redis 作为 broker 时, 队列名称,Exchenge名称,queue名称 必须保持一致

"""
这里只定义了两个队列
    import_task: 用来存放需要优先执行的重要任务, 如果队列仍然存在堵塞的情况, 可以根据更小颗粒度划分出更多的队列
    normal_task: 用