celery实现任务优先级控制

噜啦噜黑

已于 2023-08-02 16:49:39 修改

阅读量999

点赞数

分类专栏： celery 文章标签： python

于 2023-06-30 14:10:53 首次发布

本文链接：https://blog.csdn.net/NQS__/article/details/131475447

版权

celery 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

import time

from celery import Celery
from kombu import Queue, Exchange

CONFIG = {
    # 'CELERY_ACKS_LATE': True, # 亲测不影响。
    'CELERYD_PREFETCH_MULTIPLIER': 1, # 对于预取的，顺序无法变更，所以设置数量为1.注意0代表不限制
    # 设置时区
    'CELERY_TIMEZONE': 'Asia/Shanghai',
    # 默认为true，UTC时区
    'CELERY_ENABLE_UTC': True,
    # broker
    'BROKER_URL': 'redis://redis:6379/0',
    # backend配置，注意指定redis数据库
    # 'CELERY_RESULT_BACKEND': 'redis://localhost:6379/0',
    # worker最大并发数
    'CELERYD_CONCURRENCY': 1,
    # 如果不设置，默认是celery队列，此处使用默认的直连交换机，routing_key完全一致才会调度到celery_demo队列
    # 此处注意，元组中只有一个值的话，需要最后加逗号
    'CELERY_QUEUES': (
        Queue("celery_demo", Exchange("celery_demo"), routing_key="celery_demo", priority=3),
        # Queue("celery_demo_high", Exchange("celery_demo_high"), routing_key="celery_demo_high", priority=9)
    )
}

app = Celery()
app.config_from_object(CONFIG)

@app.task(name='demo_task')
def demo_task(x, y):
    print(f"这是一个demo任务，睡了2秒，并返回了{x}+{y}的结果。")
    time.sleep(2)
    return x + y

# for i in range(3):
#     demo_task.apply_async(args=(i,i), queue='celery_demo')
    # demo_task.delay(i,i)

if __name__ == '__main__':
    demo_task.apply_async(args=(1,1), queue='celery_demo', priority=10)
    demo_task.apply_async(args=(2,2), queue='celery_demo', priority=10)
    demo_task.apply_async(args=(3,3), queue='celery_demo', priority=1)
    demo_task.apply_async(args=(4,4), queue='celery_demo', priority=10)
    demo_task.apply_async(args=(5,5), queue='celery_demo', priority=1)

    import time
    time.sleep(4)
    print('--------------------')
    demo_task.apply_async(args=(10,5), queue='celery_demo', priority=1)

运行结果