定义celery实例
在django项目中使用Celery,必须先定义一个Celery库的实例(常叫作app)。推荐的定义方法是,在django项目的settings.py同级目录下,创建一个celery.py文件:
from __future__ import absolute_import, unicode_literals
import os
from celery import Celery
# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')
app = Celery('proj')
# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
# should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')
# Load task modules from all registered Django app configs.
app.autodiscover_tasks()
@app.task(bind=True)
def debug_task(self):
print('Request: {0!r}'.format(self.request))
说明:
1)通过from future import absolute_import来声明使用绝对引用,这样是为了下面的from celery import Celery引用的是系统celery模块,而不是我们自己创建的celery.py;
2)通过os.environ.setdefault(‘DJANGO_SETTINGS_MODULE’, ‘proj.settings’)来为celery指定DJANGO_SETTINGS_MODULE环境变量;
3)声明celery的实例app = Celery(‘proj’)。注意,实例的声明要在2)之后。
4)使用app.config_from_object(‘django.conf:settings’, namespace=’CELERY’)表示直接在django的settings配置文件中来定义celery的配置,celery相关的配置以”CELERY_”作为前缀;settings配置文件中配置参考如下:
CELERY_BROKER_URL = 'redis://127.0.0.1:6379/1'
CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379'
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_ENABLE_UTC = False
5)使用app.autodiscover_tasks()来自动发现django应用中的所有tasks模块
6)debug_task方法是一个用来打印当前任务实例的请求信息的例子
然后,需要在其同目录下的init.py中引入这个app:
from __future__ import absolute_import, unicode_literals
# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app
__all__ = ['celery_app']
说明:这是为了确保当Django运行时,@shared_task修饰器可以使用这个celery的app实例。
使用@shared_task修饰器
我们在写tasks任务时,如果直接引用celery实例,会降低代码的复用性。使用@shared_task修饰器可以在不不需明确指定celery实例的情况下,创建tasks任务。以下为tasks.py的示例写法:
# Create your tasks here
from __future__ import absolute_import, unicode_literals
from celery import shared_task
@shared_task
def add(x, y):
return x + y
@shared_task
def mul(x, y):
return x * y
@shared_task
def xsum(numbers):
return sum(numbers)
具体的任务逻辑,在@shared_task修饰的函数方法中实现即可。
运行worker进程
可以直接采用如下的celery命令:
celery -A proj worker -l info
此外可以参考其他以守护运行的方法:http://docs.celeryproject.org/en/latest/userguide/daemonizing.html#daemonizing
使用django-celery-beat模块实现定时任务管理
参考:http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html#beat-custom-schedulers
- 安装
$ pip install django-celery-beat
- 在项目的settings.py配置文件中添加django_celery_beat模块到INSTALLED_APPS:
INSTALLED_APPS = (
...,
'django_celery_beat',
)
- 通过migrations命令生成相应的表
$ python manage.py makemigrations
$ python manage.py migrate
- 启动celery beat 服务,并通过–scheduler选项指定django_celery_beat.schedulers:DatabaseScheduler
$ celery -A proj beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler
注: 也可以在 settings 中配置scheduler
访问Django-Admin的定时任务界面,配置定时任务