在使用celery的时候,想让不同的worker去做不同的任务,因为每个任务对机器的性能要求不同。
如要是需要运行较为复杂的算法的话,可能需要CPU 比较强劲的机器,反之如果只是简单计算,或者程序对CPU要求不高,对其他硬件有要求,那就可能需要按需分配worker, 从而减少成本。
具体步骤如下,在同一个task.py 文件下写入相应的 任务
from celery import Celery
import time
from celery.exceptions import SoftTimeLimitExceeded
import os
from celery import Celery
#: Set default configuration module name
os.environ.setdefault('CELERY_CONFIG_MODULE', 'celeryconfig')
str1 =os.environ.setdefault('CELERY_CONFIG_MODULE', 'celeryconfig')
app = Celery()
app.config_from_envvar('CELERY_CONFIG_MODULE')
# 视频压缩
@app.task(time_limit=20)
def video_compress(video_name):
time.sleep(10)
print ('Compressing the:'+ video_name)
return 'success'
@app.task(bind=True)
def hello(self, a, b):
time.sleep(1)
self.update_state(state="PROGRESS", meta={'progress': 50})
time.sleep(1)
self.update_state(state="PROGRESS", meta={'progress': 90})
time.sleep(1)
return 'hello world: %i' % (a+b)
#如果是一个大型项目中的一个文件的话需要写明这个task的名字,否则route不会识别 如“app.celerytask.tasks.video_upload”
@app.task(name='文件目录结构')
def video_upload(video_name):
time.sleep(5)
print ('正在上传视频')
return 'success'
# 压缩照片
@app.task
def image_compress(image_name):
time.sleep(10)
print ('Compressing the:', image_name)
return 'success'
# 其他任务
@app.task
def other(str):
time.sleep(10)
print ('Do other things')
return 'success'
配置文件 celeryconfig.py
from kombu import Exchange, Queue
# 配置时区
CELERY_TIMEZONE = 'Asia/Shanghai'
BROKER_URL = '(你的RabbitMQ)'
RESULT_BACKEND = 'redis://(你的redis):6379'
# 定义一个默认交换机
default_exchange = Exchange('dedfault', type='direct')
# 定义一个媒体交换机
media_exchange = Exchange('media', type='direct')
timeout_exchange = Exchange('timeoutExchange', type='direct')
# 创建三个队列,一个是默认队列,一个是video、一个image
CELERY_QUEUES = (
Queue('default', default_exchange, routing_key='default'),
Queue('videos', media_exchange, routing_key='media.video'),
Queue('images', media_exchange, routing_key='media.image'),
Queue('timeoutQueue', timeout_exchange, routing_key='timeout')
)
CELERY_DEFAULT_QUEUE = 'default'
CELERY_DEFAULT_EXCHANGE = 'default'
CELERY_DEFAULT_ROUTING_KEY = 'default'
#
CELERY_ROUTES = (
{'tasks.image_compress': {
'queue': 'images',
'routing_key': 'media.image'
}
},
{'app.celerytask.tasks.video_upload': {#相应的 在 route 配置中写明这个 task 的名字 以便 route 成功识别
'queue': 'videos',
'routing_key': 'media.video'
}
},
{'tasks.video_compress': {
'queue': 'videos',
'routing_key': 'media.video'
}
},
{'tasks.timeout_test': {
'queue': 'timeoutQueue',
'routing_key': 'timeout'
}
},
)
# 在出现worker接受到的message出现没有注册的错误时,使用下面一句能解决
CELERY_IMPORTS = ("tasks",)
启动worker时使用 -Q 来限定Worker 的subscribe 的MQ
# 启动默认的worker
celery worker1 -Q default --loglevel=info
# 启动处理视频的worker
celery worker2 -Q videos --loglevel=info
# 启动处理图片的worker
celery worker3 -Q images --loglevel=info
这样 worker1 监听的就是默认的queue
worker2 监听的就是 video queue, 负责处理 video_upload 以及 video_compress 任务,相应的worker3 就负责image_compress
这样我们就可以在不同的节点上分别部署不同的worker 让他们分别处理不同的任务。
代码来自网上,我以前看到的博文
具体出处忘了 可能是这里https://www.jianshu.com/p/11b420aea529