Django后端架构开发：Django 与 Celery 的深度集成

Switch616

于 2024-08-20 08:56:16 发布

阅读量529

点赞数 22

分类专栏： Python Web 文章标签： django 架构 sqlite 中间件后端 python

本文链接：https://blog.csdn.net/weixin_52392194/article/details/141341954

版权

Python Web 专栏收录该内容

10 篇文章 0 订阅

订阅专栏

🚀 Django后端架构开发：Django 与 Celery 的深度集成

📌 Celery 概述与异步处理原理

在现代 Web 应用中，处理异步任务已成为优化性能、提升用户体验的关键。Django 项目中使用 Celery 可以帮助我们实现异步任务处理，显著提高系统的响应速度和扩展性。

Celery 是一个简单、灵活且可靠的分布式任务队列系统，它支持任务的实时处理和定时任务调度。Celery 的工作原理非常简单：它将任务发送到消息队列（如 Redis、RabbitMQ 等），然后由 worker 进行处理。Celery 任务的异步处理，使得主应用可以立即返回响应，而不必等待耗时的任务完成。

示例代码：

# project/celery.py

from __future__ import absolute_import, unicode_literals
import os
from celery import Celery

# 设置 Django 的默认设置模块
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'myproject.settings')

# 创建 Celery 应用实例
app = Celery('myproject')

# 使用 Django 的设置模块配置 Celery
app.config_from_object('django.conf:settings', namespace='CELERY')

# 自动从所有已注册的 Django app 中加载任务
app.autodiscover_tasks()

@app.task(bind=True)
def debug_task(self):
    print(f'Request: {self.request!r}')

代码解析：

Celery 实例的创建：在 project/celery.py 中，首先设置 Django 的默认配置模块，然后创建一个 Celery 实例。通过 config_from_object 方法，将 Celery 的配置与 Django 的配置集成，确保 Celery 可以使用 Django 中的相关配置项。
autodiscover_tasks 方法：这个方法会自动从所有已注册的 Django app 中查找任务（tasks.py），让我们不需要手动添加每个任务的路径。
@app.task 装饰器：通过这个装饰器，我们可以将一个普通函数变成一个 Celery 任务，使其可以被异步调用。

Celery 的工作流程可以简要概括为以下几个步骤：任务定义、任务发送、任务消费与执行。异步处理的核心思想在于任务被调度到一个消息队列中，Worker 进程从队列中获取任务并执行，而主进程可以继续处理其他请求。

📌 Celery 任务队列与 Redis 任务管理

在 Celery 中，消息队列用于在生产者（任务发起者）和消费者（任务执行者）之间传递任务。Celery 支持多种消息队列，包括 Redis、RabbitMQ 等。在本节中，我们将重点讨论如何在 Django 项目中使用 Redis 作为 Celery 的消息队列。

示例代码：

# settings.py

# 配置 Celery 的消息队列为 Redis
CELERY_BROKER_URL = 'redis://localhost:6379/0'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TIMEZONE = 'Asia/Shanghai'

代码解析：

CELERY_BROKER_URL：指定消息队列的连接地址，这里使用 Redis 作为消息队列，Redis 的地址为 redis://localhost:6379/0。
CELERY_RESULT_BACKEND：指定任务结果的存储后端，这里同样使用 Redis 来保存任务的执行结果。
CELERY_ACCEPT_CONTENT、CELERY_TASK_SERIALIZER、CELERY_RESULT_SERIALIZER：这三个配置项分别指定了任务内容的接受格式、任务序列化器和结果序列化器。为了提高性能和兼容性，这里选择使用 json 作为序列化格式。
CELERY_TIMEZONE：设置 Celery 使用的时区，与 Django 的时区配置保持一致。

使用 Redis 作为 Celery 的消息队列和结果后端，可以提供高效、可靠的任务队列服务。Redis 的内存存储特性，使得任务的存取速度非常快，适合需要处理大量短任务的应用场景。

拓展：Redis 的持久化与数据恢复

虽然 Redis 是内存数据库，但它也支持持久化机制，可以将数据存储到磁盘，以防服务器重启导致数据丢失。以下是 Redis 持久化的基本配置示例：

# redis.conf

# RDB 快照持久化
save 900 1   # 在 900 秒内有 1 个 key 改变时保存快照
save 300 10  # 在 300 秒内有 10 个 key 改变时保存快照
save 60 10000  # 在 60 秒内有 10000 个 key 改变时保存快照

# AOF 日志持久化
appendonly yes
appendfilename "appendonly.aof"

通过结合 RDB 和 AOF 两种持久化机制，Redis 可以在保证高性能的同时，提供一定的数据持久化能力，确保任务队列的可靠性。

📌 Celery 生产者与消费者模式

在 Celery 中，生产者负责发送任务，消费者（Worker）负责从消息队列中消费任务并执行。生产者与消费者的分离，使得任务处理可以分布在多个节点上，提高了系统的扩展性和容错能力。

生产者（Producer）示例代码：

# tasks.py

from celery import shared_task
from .models import Article

@shared_task
def generate_article_summary(article_id):
    article = Article.objects.get(id=article_id)
    # 假设我们有一个函数用于生成文章摘要
    article.summary = generate_summary(article.content)
    article.save()

消费者（Worker）示例代码：

# 启动 Worker 进程
celery -A myproject worker --loglevel=info

代码解析：

@shared_task 装饰器：通过 @shared_task 装饰器，我们可以将 generate_article_summary 函数标记为一个 Celery 任务。这意味着它可以被 Celery 异步调用，并由 Worker 进程执行。
启动 Worker 进程：通过 celery -A myproject worker --loglevel=info 命令，我们可以启动一个 Celery Worker 进程，该进程会自动从 Redis 消息队列中获取任务并执行。

生产者与消费者模式的核心思想在于解耦任务的发送与执行。生产者只负责将任务发送到消息队列，而不关心任务的执行时间和结果。消费者从消息队列中获取任务并执行，可以根据任务的数量和复杂度动态调整 Worker 的数量，以提高系统的吞吐量和响应速度。

拓展：使用 Celery Beat 进行定时任务调度

除了手动触发的任务外，Celery 还支持定时任务调度。我们可以使用 Celery Beat 组件来定期调度任务执行。以下是一个定时任务的配置示例：

# settings.py

from celery.schedules import crontab

CELERY_BEAT_SCHEDULE = {
    'generate-daily-reports': {
        'task': 'myapp.tasks.generate_daily_reports',
        'schedule': crontab(hour=7, minute=30),
    },
}

通过 Celery Beat，我们可以轻松实现类似于 cron 的定时任务调度，使得任务执行更加灵活和自动化。

📌 Celery 异步任务调用与 Celery 启动

在 Django 项目中，我们可以通过异步调用 Celery 任务，实现任务的并行处理，提高系统的性能和响应速度。接下来，我们将探讨如何在 Django 中调用 Celery 任务，以及如何启动 Celery 服务。

异步任务调用示例代码：

# views.py

from django.http import JsonResponse
from .tasks import generate_article_summary

def generate_summary_view(request, article_id):
    result = generate_article_summary.delay(article_id)
    return JsonResponse({'task_id': result.id, 'status': 'Task is being processed'})

Celery 服务启动命令：

# 启动 Celery Worker
celery -A myproject worker --loglevel=info

# 启动 Celery Beat（可选，用于定时任务）
celery -A myproject beat --loglevel=info

代码解析：

delay() 方法：delay() 是 Celery 提供的一个快捷方法，用于异步调用任务。它会立即返回一个 AsyncResult 对象，通过该对象可以查询任务的状态和结果。
启动 Celery 服务：在启动 Celery Worker 之前，需要确保消息队列（如 Redis）已经启动。Worker 会自动从消息队列中获取任务并执行。在需要定时任务调度的场景中，可以同时启动 Celery Beat。

通过异步调用任务，我们可以将耗时的操作（如复杂的数据处理、第三方接口调用等）放在后台处理，

主进程可以立即返回响应，从而显著提升用户体验。

拓展：使用 AsyncResult 获取任务状态与结果

当我们异步调用任务时，Celery 会返回一个 AsyncResult 对象。我们可以通过这个对象来获取任务的执行状态和结果。以下是一个获取任务结果的示例：

# views.py

from django.http import JsonResponse
from celery.result import AsyncResult

def get_task_status(request, task_id):
    result = AsyncResult(task_id)
    if result.ready():
        return JsonResponse({'status': 'Task completed', 'result': result.result})
    else:
        return JsonResponse({'status': 'Task is still processing'})

通过 AsyncResult 对象，我们可以轻松查询任务的状态和结果，使得异步任务的管理更加灵活和高效。

📌 Celery 异步任务配置与 Task 编写

在 Django 项目中，配置 Celery 异步任务是确保任务正确执行的关键步骤。在本节中，我们将探讨如何配置 Celery 任务，并编写实际的任务代码。

Celery 配置示例代码：

# settings.py

# 配置 Celery
CELERY_BROKER_URL = 'redis://localhost:6379/0'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'
CELERY_ACCEPT_CONTENT = ['json']
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
CELERY_TIMEZONE = 'Asia/Shanghai'

Task 编写示例代码：

# tasks.py

from celery import shared_task
import time

@shared_task
def long_running_task(duration):
    """模拟一个长时间运行的任务"""
    time.sleep(duration)
    return f'Task completed after {duration} seconds'

代码解析：

Celery 配置：在 settings.py 中配置 Celery 的消息队列、结果后端和序列化器。确保 Celery 可以正确连接到 Redis 并处理任务。
Task 编写：在 tasks.py 中定义任务函数，并使用 @shared_task 装饰器将其标记为 Celery 任务。这里的 long_running_task 是一个模拟长时间运行的任务，通过 time.sleep 来模拟任务的耗时操作。

通过合理配置 Celery，我们可以确保任务的执行效率和稳定性。同时，编写任务代码时需要注意任务的幂等性和错误处理，确保在任务失败时可以安全重试。

拓展：任务重试与错误处理

Celery 提供了内置的任务重试机制，可以在任务失败时自动重试。以下是一个任务重试的示例：

# tasks.py

from celery import shared_task
from celery.exceptions import MaxRetriesExceededError

@shared_task(bind=True, max_retries=3, default_retry_delay=5)
def task_with_retry(self):
    try:
        # 模拟可能会失败的操作
        result = some_operation()
        return result
    except Exception as exc:
        raise self.retry(exc=exc)

通过 retry 方法，我们可以轻松实现任务的重试逻辑，确保任务在失败后可以再次执行，提高任务的成功率。

Switch616

关注

22
点赞
踩
12

收藏

觉得还不错? 一键收藏
打赏
0
评论
Django后端架构开发：Django 与 Celery 的深度集成

在现代 Web 应用中，处理异步任务已成为优化性能、提升用户体验的关键。Django 项目中使用 Celery 可以帮助我们实现异步任务处理，显著提高系统的响应速度和扩展性。Celery 是一个简单、灵活且可靠的分布式任务队列系统，它支持任务的实时处理和定时任务调度。Celery 的工作原理非常简单：它将任务发送到消息队列（如 Redis、RabbitMQ 等），然后由 worker 进行处理。Celery 任务的异步处理，使得主应用可以立即返回响应，而不必等待耗时的任务完成。import os。
复制链接

扫一扫