celery+redis的使用
celery理解
celery是典型的生产者+消费者的模式,生产者生产任务并加入队列中,消费者取出任务消费。多用于处理异步任务或者定时任务。
安装celery+redis
pip install -i https://pypi.douban.com/simple celery
pip install -i https://pypi.douban.com/simple redis
异步任务使用
1.基础使用
新建task.py文件
from celery import Celery
app = Celery('demo', backend='redis://localhost:6379/1', broker='redis://localhost:6379/2')
@app.task
def add(x, y):
return x + y
此时相当于注册了celery app
在项目文件目录下执行python交互式编程
>>> from task import add
>>> res = add.delay(3,5)
>>> res.ready()
False
>>> res.get()
此处相当于是生产者,生产任务并交给broker
- 使用
add.delay(3,5)
异步处理add函数,或者使用add.apply_async((3,5))
res.ready()
可以查看任务是否完成res.get()
任务如果完成,可以获得任务返回结果;否则,一直阻塞,直到任务完成,然后返回结果
在项目文件目录下创建worker消费任务
celery -A task worker --loglevel=info
- task 为注册celery app的py文件名字
- 注意celery版本不同命令不同的问题
上面图片config中我们可以看到celery app名称以及broker和backend的设置
并且这里立马消费了我们开始扔进redis的任务,可以回到我们的交互式编程查看结果已经被返回回来
此时我们再扔进一个任务,可以看到结果可以马上返回
>>> res = add.delay(5,6)
>>> res.ready()
True
>>> res.get()
11
>>>
2.使用导入配置文件的方式
新建python包文件目录celery_study
在__init__.py文件中,我们注册celery app
from celery import Celery
app = Celery('demo')
# 通过celery实例获取配置
app.config_from_object('celery_study.celery_config')
新建配置文件celery_config.py
BROKER_URL = 'redis://localhost:6379/1'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/2'
CELERY_TIMEZONE = 'Asia/Shanghai'
CELERY_IMPORTS = (
'celery_study.task_add'
)
新建task_add.py文件书写需要异步的逻辑
import time
from celery_study import app
@app.task
def add(x, y):
time.sleep(3)
return x + y
终端启动我们的worker
celery -A celery_study worker --loglevel=info
同样也可以看到celery正常启动
新建main.py文件并执行
from celery_study import task_add
task_add.add.delay(8, 4)
print('end...')
可以看到控制台输出了end...
在worker终端界面输出了
定时任务
修改celery_config.py
from datetime import timedelta
from celery.schedules import crontab
CELERYBEAT_SCHEDULE = {
# 每10s执行一次
'task1': {
'task': 'celery_study.task_add.add',
'schedule': timedelta(seconds=10),
'args': (2, 8)
},
# 每天15:00执行
'task2': {
'task': 'celery_study.task_add.add',
'schedule': crontab(hour=15, minute=0),
'args': (9, 9)
}
}
添加定时任务
1.分别启动worker和beat
启动worker
celery -A celery_study worker --loglevel=info
启动定时任务配置
celery -A celery_study beat --loglevel=info
2.同时启动worker和beat
celery -A celery_study worker --beat --loglevel=info