python celery异步_celery异步任务配置详解

celery异步任务的底层原理

celery是基于python实现的一个异步任务的调度工具，同时还是一个任务队列，主要用于处理耗时任务。

celery架构由三个模块组成：消息中间件(message broker)，任务执行单元(worker)和任务执行结果存储(task result store)组成。

消息中间件(broker)：消息中间人，是任务调度队列，是一个独立的服务，是一个生产者消费者模式，生产者把任务放入队列中，消费者(worker)从任务队列中取出任务执行，任务的执行可以按照顺序一次执行也可以按照计划时间进行。但是broker本身不提供队列服务，所以要集成第三方队列，推荐使用RatbbitMQ或者Redis。

任务执行单元(worker)：即执行任务的程序，可以有多个并发。它实时监控消息队列，获取队列中调度的任务，并执行它。

任务执行结果存储(task result store)：由于任务的执行同主程序分开，如果主程序想获取任务执行的结果，就必须通过中间件存储。同消息中间人一样，存储也可以使用RabbitMQ、Redis；另外，假如不需要保存执行的结果也可以不配置这个模块。

celery配置文件celery.py

from __future__ import absolute_import, unicode_literals

import os

from celery import Celery

from django.conf import settings

os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'IFS.settings')

app = Celery('IFS', broker='amqp://guest@localhost//')

app.conf.ONCE = {

'backend': 'celery_once.backends.Redis',

'settings': {

'url': 'redis://localhost:6379/1',

'default_timeout': 60 * 60

}

}

# Using a string here means the worker doesn't have to serialize

# the configuration object to child processes.

# - namespace='CELERY' means all celery-related configuration keys

# should have a `CELERY_` prefix.

app.config_from_object('django.conf:settings')

# Load task modules from all registered Django app configs.

app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

@app.task(bind=True)

def debug_task(self):

print('Request: {0!r}'.format(self.request))django settings文件增加配置

# ##配置Broker

BROKER_URL = 'redis://127.0.0.1:6379/1'

BROKER_TRANSPORT = 'redis'

CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' # 数据库调度

CELERY_RESULT_BACKEND = 'django-db'

CELERY_CACHE_BACKEND = 'django-cache'tasks装饰

@app.task(base=QueueOnce, once={'graceful': True})调用方法

task = execute_excel_review.apply_async(args=(file_path, username, user_data))