celery初级教程(五)

假如我们有两个worker,一个worker专门用来处理邮件发送任务和图像处理任务，一个worker专门用来处理文件上传任务。

我们创建两个队列，一个专门用于存储邮件任务队列和图像处理，一个用来存储文件上传任务队列。

Celery支持AMQP(Advanced Message Queue)所有的路由功能，我们也可以使用简单的路由设置将指定的任务发送到指定的队列中.

我们需要配置在celeryconfig.py模块中配置 CELERY_ROUTES 项, tasks.py模块修改如下:

from proj.celery import app as celery_app
import time

# 创建任务函数
@celery_app.task
def send_email():
    print("正在发送email....")
    time.sleep(5)
    print("email发送完毕!")

@celery_app.task
def upload_file():
    print("正在处理文件上传任务....")
    time.sleep(3)
    print("文件上传完毕!")

@celery_app.task
def image_process():
    print("正在处理图像....")
    time.sleep(5)
    print("图像处理完毕!")

我们通过配置，将send_email和upload_file任务发送到queue1队列中，将image_process发送到queue2队列中。我们修改celeryconfig.py:

BROKER_URL = 'redis://:332572@127.0.0.1:6379/1'

CELERY_RESULT_BACKEND = 'redis://:332572@127.0.0.1:6379/2'

CELERY_ROUTES = ({
    'proj.tasks.send_email': {'queue': 'queue1'},
    'proj.tasks.upload_file': {'queue': 'queue1'},
    'proj.tasks.image_process': {'queue': 'queue2'},
    },
)

CELERY_ROUTES配置选项配置任务被发送到那个队列中。

test.py模块内容如下:

from proj.tasks import *

# 发送任务到路由指定的队列中
send_email.delay()
upload_file.delay()
image_process.delay()

开启两个worker服务器，分别处理两个队列：

celery -A proj worker --loglevel=info -Q queue1
celery -A proj worker --loglevel=info -Q queue2

我们同样也可以通过apply_aynsc()方法来设置任务发送到那个队列中:

my_task1.apply_async(queue='queue1')

我们也可设置一个worker服务器处理两个队列中的任务:

celery -A proj worker --loglevel=info -Q queue1,queue2