在 Django 项目中使用 Celery

最新推荐文章于 2024-08-20 08:56:16 发布
最新推荐文章于 2024-08-20 08:56:16 发布
阅读量2.8k 收藏 7
点赞数 1
分类专栏： 技术分享 文章标签： celery django
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42174361/article/details/83154130
版权

Celery 先前的版本需要额外安装一个库才能与 Django 集成，但是自3.1版本开始，再也不需要了。现在 Celery 直接支持 Django 了，本文提供一个比较基本的方法将 Celery 集成到 Django 项目中。你将使用与非 Django 用户同样的API，所以在阅读本文之前最好看一下Celery 初步。当你完成一个可以正常运行的例子后，再看看Celery 进阶。

如果未安装django和celery可查看一下官网文档安装以后再执行本文章以下操作。

首先为了在 Django 项目中使用 Celery，必须先定义一个 Celery 实例（也叫做 app）。

假如 Django 项目布局是这样的：

- myproject/
  - myproject/__init__.py
  - myproject/settings.py
  - myproject/urls.py
  - myproject/wsgi.py
- manage.py

那么，推荐的做法是创建一个新的 myproject/myproject/celery.py 模块，然后在这个模块中定义 Celery 实例。
file: myproject/myproject/celery.py

# coding:utf-8
from __future__ import absolute_import, unicode_literals

from celery import Celery
import os

import myproject.celery_config

# 获取当前文件夹名，即为该Django的项目名
project_name = os.path.split(os.path.abspath('.'))[-1]
project_settings = '%s.settings' % project_name

# 设置环境变量 主要可用于在定时任务 或者其他任务中操作数据库
os.environ.setdefault('DJANGO_SETTINGS_MODULE', project_settings)

# 实例化Celery
app = Celery(project_name)

# 使用anync_task.celery_config
app.config_from_object(myproject.celery_config)

# Celery加载所有注册的应用
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

接着，需要在 myproject/myproject/__init__.py 模块中导入这个 Celery 实例（也就是 app）。这样可以确保当 Django 启动时可以加载这个 app，并且 @shared_task 装饰器（后面会提到）也能使用这个 app.

file: myproject/myproject/__init__.py

# coding:utf-8
from __future__ import absolute_import, unicode_literals

# 引入celery对象
from .celery import app as celery_app

需要注意的是，上述项目布局示例适合大型项目。对于简单的项目，你可以在一个模块中同时定义 Celery 实例和任务，就像Celery 初步里面那样。

--------------------------------------------------

以下需要注意：

我们看看在 myproject/myproject/__init__.py 模块中到底做了什么事。首先，从 future 模块导入 absolute_import，这样，celery.py 模块就不会与 Celery 库相冲突：

	from __future__ import absolute_import

然后，为 celery 命令运行程序设置环境变量 DJANGO_SETTINGS_MODULE 的默认值：

	os.environ.setdefault('DJANGO_SETTINGS_MODULE', project_settings)

设置这个环境变量是为了让 celery 命令能找到 Django 项目。这条语句必须出现在 Celery 实例创建之前，也就是接下来要做的：

app = Celery(project_name)

这个 app 就是 Celery 实例。可以有很多 Celery 实例，但是当使用 Django 时，似乎没有必要。

我们还可以将Django的settings 文件作为 Celery 的配置来源，这样，你不必使用多个配置文件，而是直接从Django的settings 文件配置Celery; 但是如果需要，你也可以将它们分开编写。

app.config_from_object('django.conf:settings', namespace='CELERY')

上面这里的大写的名称空间意味着必须以大写而不是小写来指定所有Celery配置选项，并以…开头 CELERY_，例如task_always_eager设置变为CELERY_TASK_ALWAYS_EAGER，broker_url 设置变为CELERY_BROKER_URL。

可以将 settings 对象作为参数传入，但是更好的方式是使用字符串，因为当使用 Windows 系统或者 execv 时 celery worker 不需要序列化 settings 对象，该CELERY_命名空间也是可选的，但建议这样做（以防止与其他Django的设置重叠）

为了重用 Django APP，通常是在单独的 tasks.py 模块中定义所有任务。Celery 会自动发现这些模块：

app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

加上上一句后，Celery 会自动发现 Django APP 中定义的任务，前提是遵循如下 tasks.py 约定：

- app1/
    - tasks.py
    - models.py
- app2/
    - tasks.py
    - models.py

这样您就不必手动将各个模块添加到CELERY_IMPORTS设置中。
传入的 lambda 函数有如下好处：只在需要的时候才自动发现任务，以及当导入模块时不需要立即对 settings 对象求值。

最后，debug_task 是一个打印本身 request 信息的任务。它使用了在 Celery 3.1引入的任务选项 bind=True，使得引用当前任务实例变得很容易。

使用 @shared_task 装饰器

你很可能在可重用的 Django APP 中编写了一些任务，但是 Django APP 不能依赖于具体的 Django 项目，所以你无法直接导入 Celery 实例。
@shared_task 装饰器能让你在没有具体的 Celery 实例时创建任务：
file: demoapp/tasks.py:

from __future__ import absolute_import
from celery import shared_task

@shared_task
def add(x, y):
    return x + y

@shared_task
def mul(x, y):
    return x * y

@shared_task
def xsum(numbers):
    return sum(numbers)

另请参阅你可以在这里找到这个 Django 示例项目的完整源码

---------------------------------------------

使用django-celery-results Django ORM/Cache 作为结果存储后端（result backend）

所述的django-celery-results这个模块可以使用任何Django的ORM，或Django的Cache框架作为结果后端。
要在项目中使用它，您需要按照以下步骤操作：
1.安装django-celery-results库：

$ pip install django-celery-results

2.添加django_celery_results到INSTALLED_APPS您的Django项目中settings.py：

# 请注意，模块名称中没有短划线，只有下划线。
INSTALLED_APPS = (
    ...,
    'django_celery_results',
)

3.通过执行数据库迁移来创建Celery数据库表：

$ python manage.py migrate django_celery_results

4.配置Celery以使用django-celery-results后端。

假设您正在使用Django settings.py来配置Celery，请添加以下设置：

CELERY_RESULT_BACKEND = 'django-db'

对于缓存后端，您可以使用：

CELERY_RESULT_BACKEND = 'django-cache'

------------------------------------------------

自己实现的配置文件

在myproject/myproject/路径下新建celery.py和celery_config.py项目路径如下：

- myproject/
  - myproject/__init__.py
  - myproject/celery.py
  - myproject/celery_config.py
  - myproject/settings.py
  - myproject/urls.py
  - myproject/wsgi.py
- manage.py
其中file: myproject/myproject/celery.py ：
# coding:utf-8
# 防止绝对模块冲突
from __future__ import absolute_import, unicode_literals

from celery import Celery
import os
# 导入配置文件
import myproject.celery_config

# 获取当前文件夹名，即为该Django的项目名
project_name = os.path.split(os.path.abspath('.'))[-1]
# 获取django的配置文件
project_settings = '%s.settings' % project_name

# 设置celery环境变量 
os.environ.setdefault('DJANGO_SETTINGS_MODULE', project_settings)

# 实例化Celery
app = Celery(project_name)
# 使用自定义的celery config 文件
app.config_from_object(myproject.celery_config)

# # Celery加载所有注册的应用 
# app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)

这句app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)注释掉是因为在自定义配置文件中已经指定了任务模块

file: myproject/myproject/__init__.py:
# coding:utf-8
from __future__ import absolute_import, unicode_literals

# 引入celery对象
from .celery import app as celery_app
file: myproject/myproject/celery_config.py:

注意:这里是用RabbitMQ当做中间人RabbitMQ关于RabbitMQ的安装可查看上一篇文章RabbitMQ服务器的搭建

# coding:utf-8
from datetime import timedelta

# 添加celery配置
# 中间消息队列
BROKER_URL = 'amqp://guest:guest@localhost:5672//'
# BROKER_URL = 'django://'  # 用django默认数据库作为中间消息队列
# celery 用redis作为储存后端结果
CELERY_RESULT_BACKEND = 'redis://localhost:6379/1'
# celery 接受内容形式
CELERY_ACCEPT_CONTENT = ['application/json']
# celery 任务序列化
CELERY_TASK_SERIALIZER = 'json'
# celery 结果序列化
CELERY_RESULT_SERIALIZER = 'json'
# celery时间
CELERY_TIMEZONE = 'UTC'
# celery 是否忽略结果
# CELERY_IGNORE_RESULT = True

# 指定导入的任务模块 
CELERY_IMPORTS = (
    'anync_task.task_1',
    'anync_task.task_2',
    'anync_task.task_3',
)

# 定时任务配置
CELERYBEAT_SCHEDULE = {
    'add-every-30-seconds': {
         'task': 'anync_task.task_3.send_message',
         'schedule': timedelta(seconds=30),       # 每 30 秒执行一次
         'args': (11,)                           # 任务函数参数
    },
}

注意：task_3为定时任务，以上的配置文件中的CELERY_IMPORTS中的内容：
为导入那个模块中的那些任务文件，其中路径为下

- myproject/
  - anync_task/__init__.py
  - anync_task/task_1.py
  - anync_task/task_2.py
  - anync_task/task_3.py

  - myapp/__init__.py
  - myapp/admin.py
  - myapp/app.py
  - myapp/models.py
  - myapp/test.py
  - myapp/view.py

  - myproject/__init__.py
  - myproject/celery.py
  - myproject/celery_config.py
  - myproject/settings.py
  - myproject/urls.py
  - myproject/wsgi.py
- manage.py

其他文件如下：

task_1.py
# coding:utf-8
from __future__ import absolute_import
# from celery.decorators import task
from celery import task
import time
from myapp.models import Blog

@task
def sendmail(email):
    # 异步任务
    print(u'这是执行task 1')
    result = Blog.objects.all()
    print(result)
    print('start send email to %s' % email)
    time.sleep(5)  # 休息5秒
    print('success')
    return 'Hello world'
# ------------------------------------------------------------
task_2.py
# coding:utf-8
from __future__ import absolute_import
# from celery.decorators import task
from celery import task
import time
from myapp.models import Blog

@task
def send_qq(email):
    # 异步任务
    result = Blog.objects.all()
    print(u'这是执行task_2')
    print(result)
    print('start send email to %s' % email)
    time.sleep(5)  # 休息5秒
    print('success')
    return 'hello world'
# ------------------------------------------------------------
task_3.py
# coding:utf-8
from __future__ import absolute_import
# from celery.decorators import task
from celery import task
import time

@task
def send_message(email):
    # 异步任务
    print(u'这是执行task_3')

    print('start send email to %s' % email)
    time.sleep(5)  # 休息5秒
    print('success')
    return True
# ------------------------------------------------------------
model.py
# coding:utf-8
from __future__ import unicode_literals
from django.db import models


class Blog(models.Model):
    caption = models.CharField(max_length=30)

    def __unicode__(self):
        return self.caption
# ------------------------------------------------------------
view.py
# coding:utf-8
from django.shortcuts import render
from django.http import HttpResponse
from .models import Blog
from anync_task.task_1 import sendmail
from anync_task.task_2 import send_qq
import json


def home(request):
    # 耗时任务，发送邮件
    result_1 = sendmail.delay('test@test.com')
    print(result_1.result)
    print(result_1.status)
    print(result_1.successful())
    print(result_1.backend)
    result_2 = send_qq.delay('test@test.com')
    print(result_2.result)
    print(result_2.status)
    print(result_2.successful())
    print(result_2.backend)

    # 其他行为
    data = list(Blog.objects.values('caption'))
    return HttpResponse(json.dumps(data), content_type='application/json')

可以尝试一下

颜海滨
关注
专栏目录
Django（41）详解异步任务框架Celery
weixin_43880991的博客
06-02 1135
celery介绍   Celery是由Python开发、简单、灵活、可靠的分布式任务队列，是一个处理异步任务的框架，其本质是生产者消费者模型，生产者发送任务到消息队列，消费者负责处理任务。Celery侧重于实时操作，但对调度支持也很好，其每天可以处理数以百万计的任务。特点： 简单：熟悉celery的工作流程后，配置使用简单 高可用：当任务执行失败或执行过程中发生连接中断，celery会自动尝试...
Django项目中使用celery做异步任务_django中celery实现异步
m0_63174618的博客
04-21 1135
这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。基本上主流的和经典的都有，这里我就不放图了，版权问题，个人看看是没有问题的。
Django中celery的使用
瑞瑞的博客
04-25 1457
django中celery的使用，异步任务，定时任务，以及任务的结果查看
Django后端架构开发：Django 与 Celery 的深度集成
最新发布
weixin_52392194的博客
08-20 1019
在现代 Web 应用中，处理异步任务已成为优化性能、提升用户体验的关键。Django 项目中使用 Celery 可以帮助我们实现异步任务处理，显著提高系统的响应速度和扩展性。Celery 是一个简单、灵活且可靠的分布式任务队列系统，它支持任务的实时处理和定时任务调度。Celery 的工作原理非常简单：它将任务发送到消息队列（如 Redis、RabbitMQ 等），然后由 worker 进行处理。Celery 任务的异步处理，使得主应用可以立即返回响应，而不必等待耗时的任务完成。import os。
Django 之 Celery
她°
05-03 1206
什么是任务队列 任务队列一般用于线程或计算机之间分配工作的一种机制。 任务队列的输入是一个称为任务的工作单元，有专门的职程（Worker）进行不断的监视任务队列，进行执行新的任务工作。 Celery通过消息机制进行通信，通常使用中间人（Broker）作为客户端和职程（Worker）调节。启动一个任务，客户端向消息队列发送一条消息，然后中间人（Broker）将消息传递给一个职程（Worker），最后由职程（Worker）进行执行中间人Broker）分配的任务。 Celery 可以有多个职程（Worker）和
celery概述
热门推荐
showgea的博客
11-02 1万+
1. 问题抛出 我们在做网站后端程序开发时，会碰到这样的需求：用户需要在我们的网站填写注册信息，我们发给用户一封注册激活邮件到用户邮箱，如果由于各种原因，这封邮件发送所需时间较长，那么客户端将会等待很久，造成不好的用户体验. 那么怎么解决这样的问题呢? 我们将耗时任务放到后台异步执行。不会影响用户其他操作。除了注册功能，例如上传，图形处理等等耗时的任务，都可以按照这种思路来解决。 如何实现异步执行任务呢？我们可使用celery。celery除了刚才所涉及到的异步执行任务之外，还可..
celery在Django中的集成使用
weixin_33948416的博客
01-10 156
继上回安装和使用Redis之后，看看如何在Django中使用Celery。Celery是Python开发分布式任务列队的处理库。可以异步分布式地异步处理任务，也可定时执行任务等等。通常我们可以在Django执行一些比较耗时的任务（例如发邮件）和后台任务（例如爬虫和更新服务器缓存）。 研究发现，在Django中使用有两种方式： 1）使用django-celery应用； 2）直接使用Celery...
Django项目中使用celery分布式任务方法
FatPuffer
02-16 1091
项目框架目录树： django_celery | ├── course # 新建应用 │ ├── admin.py │ ├── __init__.py │ ├── migrations │ ├── models.py │ ├── tasks.py # 任务模块 │ ├── urls.py # 路由文件 │ └── views.py ├── db.sqlite3 ├...
详解django+django-celery+celery的整合实战
09-19
### 详解 Django + Django-Celery + Celery 的整合实战 #### 一、Celery简介与功能概述 ...以上内容涵盖了 Django 项目与 Celery 整合的基本流程和实践操作，希望能够帮助读者理解和掌握如何在实际项目中应用 Celery。
Django项目中使用celery做异步任务_django中celery实现异步(1)
m0_63174618的博客
04-21 831
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。在需要使用异步任务的app中创建tasks.py,写入对应的任务函数,博主喜欢把tasks放在对应的app下,其实放在其他目录下也可以的,看个人习惯。
Django中使用Celery的教程详解
09-20
在Python的Web开发领域，Django是一个非常受欢迎的开源框架，它提供了强大的功能来构建高效、可维护的网站应用程序。...因此，理解和掌握如何在Django中使用Celery是提升Python Web开发技能的重要一步。
django-celery
01-08
celery是一个异步任务队列/基于分布式消息传递的作业队列
Django中使用celery完成异步任务的示例代码
09-20
在本教程中，我们将学习如何在Django项目中集成Celery，实现异步任务处理。 首先，确保你的项目环境已经安装了Django、Celery、Redis（作为消息中间件）以及对应的Django-Celery库。安装命令如下： ```bash pip ...
Django—Celery
piduocheng0577的博客
03-22 270
安装 Celery 是⼀个 基于python开发的异步任务队列/基于分布式消息传递的作业队列 安装 pip install celery pip install celery-with-redis #django-celery-results库基于 Django ORM实现了结果存储后端 pip install django-celery-results settings.py AL...
Django-Celery
Lyajpunov的博客
02-12 929
Celery 是⼀个基于python开发的异步任务队列/基于分布式消息传递的作业队列，通过它可以轻松的实现任务的异步处理。它侧重于实时操作，但对调度⽀持也很好。Celery⽤于⽣产系统每天处理数以百万计的任务。Celery是⽤Python编写的，但该协议可以在任何语⾔实现。它也可以与其他语⾔通过webhooks实现。Celery 建议的消息队列是RabbitMQ，但提供⽀持Redis, Beanstalk, MongoDB, CouchDB, 和数据库（使⽤SQLAlchemy的或Django的 ORM）。
Celery在Django中的使用
爬山的小明
01-18 394
Celery 一、概要 Celery 是一个强大的分布式任务队列，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务（ async task ）和定时任务（ crontab ）。 异步任务：比如发送邮件、手机验证码，或者文件上传, 图像处理等等一些比较耗时的操作 ； 定时任务：需要在特定时间执行的任务。 二、celery的一些优点 简单：一单熟悉了...
Django之Celery
why404
02-11 333
概述 1. Celery介绍 Celery是由Python开发、简单、灵活、可靠的分布式任务队列，是一个处理异步任务的框架，其本质是生产者消费者模型，生产者发送任务到消息队列，消费者负责处理任务。 Celery侧重于实时操作，但对调度支持也很好，其每天可以处理数以百万计的任务。特点： 简单：熟悉celery的工作流程后，配置使用简单 高可用：当任务执行失败或执行过程中发生连接中断，c...
celery 在django项目中使用
weixin_45954124的博客
12-09 556
在django项目中使用 celery 1.博客说明 1.在做celery异步任务和定时任务时，有些人使用django-celery+django-redis+celery+redis+django-celery-beat实现 2.但是这种实现方法和django结合过于紧密，不利于分布式部署 3.而且不同版本相结合,一旦不小心安装升级一个包，会导致各种报错 4.配置也比较繁琐，很多同学在使用时易出错 2、安装相关包 pip install Django==2.2 pip install celery==4.
在django中使用celery
06-10
好的，关于在Django中使用Celery，我可以给你一些基本的指导。 首先，你需要在Django项目中安装Celery和Redis（或其他消息代理），可以使用以下命令： ``` pip install celery redis ``` 然后，在你的Django项目...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值