关于django集成celery

定义celery实例

在django项目中使用Celery，必须先定义一个Celery库的实例（常叫作app）。推荐的定义方法是，在django项目的settings.py同级目录下，创建一个celery.py文件：

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery

# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'proj.settings')

app = Celery('proj')

# Using a string here means the worker doesn't have to serialize
# the configuration object to child processes.
# - namespace='CELERY' means all celery-related configuration keys
#   should have a `CELERY_` prefix.
app.config_from_object('django.conf:settings', namespace='CELERY')

# Load task modules from all registered Django app configs.
app.autodiscover_tasks()


@app.task(bind=True)
def debug_task(self):
    print('Request: {0!r}'.format(self.request))

说明：
1）通过from future import absolute_import来声明使用绝对引用，这样是为了下面的from celery import Celery引用的是系统celery模块，而不是我们自己创建的celery.py；
2）通过os.environ.setdefault(‘DJANGO_SETTINGS_MODULE’, ‘proj.settings’)来为celery指定DJANGO_SETTINGS_MODULE环境变量；
3）声明celery的实例app = Celery(‘proj’)。注意，实例的声明要在2）之后。
4）使用app.config_from_object(‘django.conf:settings’, namespace=’CELERY’)表示直接在django的settings配置文件中来定义celery的配置，celery相关的配置以”CELERY_”作为前缀；settings配置文件中配置参考如下：

CELERY_BROKER_URL = 'redis://127.0.0.1:6379/1'
CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379'
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_ENABLE_UTC = False

5）使用app.autodiscover_tasks()来自动发现django应用中的所有tasks模块
6）debug_task方法是一个用来打印当前任务实例的请求信息的例子

然后，需要在其同目录下的init.py中引入这个app：

from __future__ import absolute_import, unicode_literals

# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app

__all__ = ['celery_app']

说明：这是为了确保当Django运行时，@shared_task修饰器可以使用这个celery的app实例。

使用@shared_task修饰器

我们在写tasks任务时，如果直接引用celery实例，会降低代码的复用性。使用@shared_task修饰器可以在不不需明确指定celery实例的情况下，创建tasks任务。以下为tasks.py的示例写法：

# Create your tasks here
from __future__ import absolute_import, unicode_literals
from celery import shared_task

@shared_task
def add(x, y):
    return x + y

@shared_task
def mul(x, y):
    return x * y

@shared_task
def xsum(numbers):
    return sum(numbers)

具体的任务逻辑，在@shared_task修饰的函数方法中实现即可。

运行worker进程

可以直接采用如下的celery命令：

celery -A proj worker -l info

此外可以参考其他以守护运行的方法：http://docs.celeryproject.org/en/latest/userguide/daemonizing.html#daemonizing

使用django-celery-beat模块实现定时任务管理

参考：http://docs.celeryproject.org/en/latest/userguide/periodic-tasks.html#beat-custom-schedulers

• 安装

$ pip install django-celery-beat

• 在项目的settings.py配置文件中添加django_celery_beat模块到INSTALLED_APPS:

INSTALLED_APPS = (
    ...,
    'django_celery_beat',
)

• 通过migrations命令生成相应的表

$ python manage.py makemigrations
$ python manage.py migrate

• 启动celery beat 服务，并通过–scheduler选项指定django_celery_beat.schedulers:DatabaseScheduler

$ celery -A proj beat -l info --scheduler django_celery_beat.schedulers:DatabaseScheduler

注: 也可以在 settings 中配置scheduler
访问Django-Admin的定时任务界面，配置定时任务

使用django-celery模块

参考：http://celery.github.io/django-celery/