celery实现任务优先级控制

import time

from celery import Celery
from kombu import Queue, Exchange

CONFIG = {
    # 'CELERY_ACKS_LATE': True, # 亲测不影响。
    'CELERYD_PREFETCH_MULTIPLIER': 1, # 对于预取的,顺序无法变更,所以设置数量为1.注意0代表不限制
    # 设置时区
    'CELERY_TIMEZONE': 'Asia/Shanghai',
    # 默认为true,UTC时区
    'CELERY_ENABLE_UTC': True,
    # broker
    'BROKER_URL': 'redis://redis:6379/0',
    # backend配置,注意指定redis数据库
    # 'CELERY_RESULT_BACKEND': 'redis://localhost:6379/0',
    # worker最大并发数
    'CELERYD_CONCURRENCY': 1,
    # 如果不设置,默认是celery队列,此处使用默认的直连交换机,routing_key完全一致才会调度到celery_demo队列
    # 此处注意,元组中只有一个值的话,需要最后加逗号
    'CELERY_QUEUES': (
        Queue("celery_demo", Exchange("celery_demo"), routing_key="celery_demo", priority=3),
        # Queue("celery_demo_high", Exchange("celery_demo_high"), routing_key="celery_demo_high", priority=9)
    )
}

app = Celery()
app.config_from_object(CONFIG)

@app.task(name='demo_task')
def demo_task(x, y):
    print(f"这是一个demo任务,睡了2秒,并返回了{x}+{y}的结果。")
    time.sleep(2)
    return x + y

# for i in range(3):
#     demo_task.apply_async(args=(i,i), queue='celery_demo')
    # demo_task.delay(i,i)

if __name__ == '__main__':
    demo_task.apply_async(args=(1,1), queue='celery_demo', priority=10)
    demo_task.apply_async(args=(2,2), queue='celery_demo', priority=10)
    demo_task.apply_async(args=(3,3), queue='celery_demo', priority=1)
    demo_task.apply_async(args=(4,4), queue='celery_demo', priority=10)
    demo_task.apply_async(args=(5,5), queue='celery_demo', priority=1)

    import time
    time.sleep(4)
    print('--------------------')
    demo_task.apply_async(args=(10,5), queue='celery_demo', priority=1)

运行结果

执行顺序为 (1,1),(3,3),(5,5),(10,5),(2,2),(4,4)

'''

    - 开始时,队列为空,celery收到(1,1)立即执行

    - 消费者sleep 2s开始

    - - 接收到(2,2),此时队列变为[(2,2)]

    - - 接收到(3,3),优先级较高,此时队列变为[(3,3),(2,2)]

    - - 接收到(4,4),放入队尾,此时队列变为[(3,3),(2,2),(4,4)]

    - - 接收到(5,5),优先级较高,放入同级(3,3)后面,此时队列变为[(3,3),(5,5),(2,2),(4,4)]

    - 生产者进程sleep 4s开始

    - 消费者sleep 2s结束

    - 消费者执行队首(3,3),此时队列变为[(5,5),(2,2),(4,4)]

    - 消费者sleep 2s开始

    - 消费者sleep 2s结束

    - 消费者执行队首(5,5),此时队列变为[(2,2),(4,4)]

    - 生产者进程sleep 4s结束

    - 消费者接收到(10,5),优先级较高,此时队列变为[(10,5),(3,3),(2,2)]

    - 生产者进程完毕,退出

    - 消费者按顺序继续执行

'''

注意2点:

  • 'CELERYD_PREFETCH_MULTIPLIER': 1, # 对于预取的,顺序无法变更,所以设置数量为1.注意0代表不限制
  • redis作为broker,priority越小优先执行,即优先级和数值成反比
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值