需求:
django支持的http请求都是同步的,对于需要耗时较长的操作可能会导致阻塞。为此我们需要引入异步处理机制,即收到客户端请求后立即给予响应,具体任务交给另一个进程处理。
使用方法:
1. 安装软件
pip install celery
pip install django-celery
2. 在django项目(设为djprj)添加以下文件:
1) djprj/djprj/celery.py,内容如下:
from __future__ import absolute_import
import os
from celery import Celery
# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE','djprj.settings')
from django.conf import settings
app = Celery('djprj', backend='redis', broker='redis://127.0.0.1:6379/0')
# Using a string here means the worker will not have to
# pickle the object when using Windows.
app.config_from_object('django.conf:settings')
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)
2) 修改djprj/djprj/__init__.py文件,加入以下内容:
from __future__ import absolute_import
# This will make sure the app is always imported when
# Django starts so that shared_task will use this app.
from .celery import app as celery_app
3) 在djprj项目中需要异步处理的app中加入tasks.py文件。
内容如下:
# -*- coding: utf-8 -*-
# 本模块定义了celery任务
from __future__ import absolute_import
import logging
from celery import shared_task
@shared_task
def add(x, y):
log = logging.getLogger(config.HC_ASVR_LOG_NAME_TRACK)
log.debug("Enter celery task tk2.tasks.add()")
return x + y
4) 尝试启动celery
celery -A djprj worker --loglevel=info --workdir=/path/to/djprj --logfile=/path/to/logfile
如果执行成功,则将其加入到supervisord配置文件,运行于守护进程模式。