Celery的使用

已于 2023-12-20 22:13:25 修改
阅读量942 收藏 19
点赞数 23
分类专栏： 后端开发小组件 文章标签： django
于 2023-12-20 22:07:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43153019/article/details/135106523
版权

文章目录

什么是 Celery？

Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。

在这里插入图片描述

Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。

消息中间件

Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis等等

任务执行单元

Worker是Celery提供的任务执行的单元，worker并发的运行在分布式的系统节点中。

任务结果存储

Task result store用来存储Worker执行的任务的结果，Celery支持以不同方式存储任务的结果，包括AMQP, redis等

另外， Celery还支持不同的并发和序列化的手段

并发：Prefork, Eventlet, gevent, threads/single threaded
序列化：pickle, json, yaml, msgpack. zlib, bzip2 compression， Cryptographic message signing 等等

使用场景

celery是一个强大的分布式任务队列的异步处理框架，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务（async task）和定时任务（crontab)。

异步任务：将耗时操作任务提交给Celery去异步执行，比如发送短信/邮件、消息推送、音视频处理等等

定时任务：定时执行某件事情，比如每天数据统计

Celery 的优点

Simple(简单)
Celery 使用和维护都非常简单，并且不需要配置文件。

Highly Available（高可用）
woker和client会在网络连接丢失或者失败时，自动进行重试。并且有的brokers 也支持“双主”或者“主／从”的方式实现高可用。

Fast（快速）
单个的Celery进程每分钟可以处理百万级的任务，并且只需要毫秒级的往返延迟（使用 RabbitMQ, librabbitmq, 和优化设置时）

Flexible（灵活）
Celery几乎每个部分都可以扩展使用，自定义池实现、序列化、压缩方案、日志记录、调度器、消费者、生产者、broker传输等等。

Celery安装

你可以安装Celery通过Python包管理平台（PyPI）或者源码安装
使用pip安装:

pip install -U Celery

或着：

sudo easy_install Celery

Celery 使用

celery 分为两大块，生产者【任务发布者】和消费者【任务执行者】。他们通过中间件进行协调。这个中间件官方推荐 RabbitMQ，不过 Redis 使用更加简单，本文以 redis 为例编写代码。

下面的过程，先严格按照我的操作来，后面再做发散性的思考。

备注：我的主机是 windows，windows 上开启 celery 的工作进程会有些小问题。

任务发布者和任务执行者在同一台机器上

创建项目 demo 项目

demo 下创建任务代码文件 celery_task.py

import celery

import time

# 任务发布 redis， 任务执行者会去这里取任务
broker = 'redis://192.168.1.10:6379/0'
# 任务执行结果存储 redis
backend = 'redis://192.168.1.10:6379/1'

# celery 应用的名称是 test
cel = celery.Celery('test', backend=backend, broker=broker)


@cel.task
def send_email(name):
    print(f'向{name}发送邮件。。。')
    time.sleep(5)
    print(f'向{name}发送邮件完成。。。')
    return 'ok'

启动消费者

windows 启动 celery 工作进程会有一些小问题，解决办法

  1. 安装 eventlet
  2. 启动命令 celery -A celery_task worker -l info -P eventlet
celery -A celery_task worker -l info -P eventlet

在这里插入图片描述

启动的时候 celery 会打印一些配置信息

  1. celery 版本
  2. 当前主机的系统
  3. 注册到 celery 的应用， test 正是我们前面代码里面创建 celery 应用的名字
  4. 中间件地址，到时候任务消费者就可以从这里取任务
  5. 结果存储地址
  6. 任务

在这里插入图片描述

这里 celery 消费者扫描到了一个任务，如果 celery_task 里面装配了两个任务代码，这里就可以看到两个。

在这里插入图片描述

连接rendis， 并且做好了准备。

发布任务

项目下，与 celery_task 同级目录，创建文件 celery_pro

from celery_task import send_email

res = send_email.delay('yaowy')
print(res.id)

这份代码可以直接执行。

现象

任务生产者
在这里插入图片描述

任务消费者

在这里插入图片描述

【思考】
【1】celery 是一个分布式任务队列的异步处理框架，它可以让任务的执行完全脱离主程序，甚至可以被分配到其他主机上运行。

重点是这个分布式，再看架构图，发布者向 redis 中发布任务，消费者从 redis 中获取任务，所以生产者和消费者是可以完全分开的，在不同的机器上。

我们假设工作的代码特别庞大，代码可能传递到 redis 中去吗？不可能，大概是传递一个路径，当做找包的过程，也就是说，在生产者这边，方法名和以及对应的包路径与生产者这边一致的话，两边的工作函数内部就可以不一样，随便写。

任务发布者和任务执行者在两台机器上

在 ubuntu 上创建文件 celery_task，他与 windows 上的同名文件内容如下

请添加图片描述

请添加图片描述

先在ubuntu上开启 celery 工作进程，然后再windows 上发送任务

在这里插入图片描述

可以看到异步任务执行了。

跟我们想的是一样的，需要注意的是，celery 工作进程需要在 celery_task 文件所在的目录下开启。

celery -A celery_task worker -l info 命令是怎么回事

  • celery 是经过特殊处理的Python包，也就是我们使用 pip install celery 安装的这个 celery，他可以像软件一样执行。
  • -A celery_task 寻找 名为 celery_task 的Python文件，好去加载并执行他，这个文件里面就定义了 celery 应用
  • 启动一个工作机器 worker

注意，如果 celery_task 不是一个文件，而是一个目录，那么他就会去目录里面继续寻找名为 celery 的 Python 文件，当 celery_task 是一个文件夹的时候，内部的应用文件名必须叫 celery，他会像加载之前的 celery_task 时候一样加载 celery 文件中的代码。

如果 celery_task 是一个文件夹的话，就是另外一种配置方式了，是多任务执行，这种执行方式可以更加方便我们灵活定义任务。

Celery 的多任务结构

在这里插入图片描述
celery.py:

from celery import Celery

cel = Celery('celery_demo',
             broker='redis://127.0.0.1:6379/1',
             backend='redis://127.0.0.1:6379/2',
             # 包含以下两个任务文件，去相应的py文件中找任务，对多个任务做分类
             include=['celery_tasks.task01',
                      'celery_tasks.task02'
                      ])

# 时区
cel.conf.timezone = 'Asia/Shanghai'
# 是否使用UTC
cel.conf.enable_utc = False

task01.py,task02.py:

#task01
import time
from celery_tasks.celery import cel

@cel.task
def send_email(res):
    time.sleep(5)
    return "完成向%s发送邮件任务"%res



#task02
import time
from celery_tasks.celery import cel
@cel.task
def send_msg(name):
    time.sleep(5)
    return "完成向%s发送短信任务"%name

produce_task.py:

from celery_tasks.task01 import send_email
from celery_tasks.task02 import send_msg

# 立即告知celery去执行test_celery任务，并传入一个参数
result = send_email.delay('yuan')
print(result.id)
result = send_msg.delay('yuan')
print(result.id)

check_result.py:

from celery.result import AsyncResult
from celery_tasks.celery import cel

async_result = AsyncResult(id="562834c6-e4be-46d2-908a-b102adbbf390", app=cel)

if async_result.successful():
    result = async_result.get()
    print(result)
    # result.forget() # 将结果删除,执行完成，结果不会自动删除
    # async.revoke(terminate=True)  # 无论现在是什么时候，都要终止
    # async.revoke(terminate=False) # 如果任务还没有开始执行呢，那么就可以终止。
elif async_result.failed():
    print('执行失败')
elif async_result.status == 'PENDING':
    print('任务等待中被执行')
elif async_result.status == 'RETRY':
    print('任务异常后正在重试')
elif async_result.status == 'STARTED':
    print('任务已经开始被执行')

开启work：celery worker -A celery_task -l info -P eventlet，添加任务（执行produce_task.py)，检查任务执行结果（执行check_result.py）

Django 配置 celery

目录结构

在这里插入图片描述

【1】每个应用下的 tasks 文件，必须叫这个名字，在 django 应用目录下，与 models 文件平齐
【2】项目主应用下，必须叫这个名字，联想一下多任务目录结构，其实是一个原理，执行命令的时候，因为项目主应用名是个文件夹，所以要在该目录下寻找一个名为 celery 的文件，加载他的代码，然后执行，启动 worker 进程
【3】加载 django 环境，其实就相当于一个测试脚本执行而已
【4】加载 settings 中的 celery 配置
【5】导入 django 项目下的所有应用，方便寻找这些应用下的 tasks 文件，从而从这些文件里面寻找所有的 task，注册进 celery worker 中去，所以第二步中，每个应用下的 tasks，必须是这个名字

在这里插入图片描述

源码里面就是这么找的。

django配置

settings.py

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'django_celery_results',  # 注册celery_result 应用，方便后面查询 result 的执行结果
    'app01'
]


# 如果docker部署的redis，使用redis://redis:6379
CELERY_BROKER_URL = "redis://192.168.1.10:6379/0"
# celery时区设置，建议与Django settings中TIME_ZONE同样时区，防止时差
# Django设置时区需同时设置USE_TZ=True和TIME_ZONE = 'Asia/Shanghai'
CELERY_TIMEZONE = TIME_ZONE
# 为django_celery_results存储Celery任务执行结果设置后台
# 格式为：db+scheme://user:password@host:port/dbname
# 支持数据库django-db和缓存django-cache存储任务状态及结果
CELERY_RESULT_BACKEND = "django-db"
# celery内容等消息的格式设置，默认json
CELERY_ACCEPT_CONTENT = ['application/json', ]
CELERY_TASK_SERIALIZER = 'json'
CELERY_RESULT_SERIALIZER = 'json'
# 为任务设置超时时间，单位秒。超时即中止，执行下个任务。
CELERY_TASK_TIME_LIMIT = 300
# 为存储结果设置过期日期，默认1天过期。如果beat开启，Celery每天会自动清除。
# 设为0，存储结果永不过期
CELERY_RESULT_EXPIRES = 0
# 任务限流
CELERY_TASK_ANNOTATIONS = {'tasks.add': {'rate_limit': '10/s'}}
# Worker并发数量，一般默认CPU核数，可以不设置
CELERY_WORKER_CONCURRENCY = 2
# 每个worker执行了多少任务就会死掉，默认是无限的
# CELERY_WORKER_MAX_TASKS_PER_CHILD = 200

执行命令

celery -A django_demo worker -l info -P eventlet

然后启动 django 项目，浏览器请求测试接口。不出意外的话是可以打通的。

django 配置 celery 的时候，是有严格得目录以及文件名要求的，只有这样才能少传参数，对吧？ Django项目本身也是一个目录要求非常严格的框架

百炼之志
关注
  • 23
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Celery使用配置
m0_50294260的博客
08-18 507
Celery 是一个包含一系列的消息任务队列。 使用配置 选择中间人（Broker） Celery 需要一个中间件来进行接收和发送消息，通常以独立的服务形式出现，成为 消息中间人（Broker） 以下有几种选择： RabbitMQ Redis 其他中间人（Broker） 示例： 安装 Celery Celery 在 python 的 PyPI 中管理，可以使用 pip 或 easy_install 来进行安装： $ pip install celery 应用 创建第一个 Celery 实例程序，我们把
详解分布式任务队列Celery使用说明
09-19
主要介绍了详解分布式任务队列Celery使用说明，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Celery教程
最新发布
星哲最开心
05-24 967
Celery教程
Celery(一)Celery介绍、安装和基本使用
呀儿呦的博客
04-07 1万+
Celery是什么？celery架构图 celery安装,celery基本使用，celery获取执行结果，执行状态，添加任务，停止worker
celery：celery介绍、架构、基本使用，celery执行异步任务、延迟任务、定时任务，django中使用celery。
WorldMvp的专栏
07-18 5351
celery介绍、架构、基本使用，celery执行异步任务、延迟任务、定时任务，django中使用celery。
Celery框架从入门到精通
昔明日
03-10 1809
beat：定时提交任务的程序---》设定在app.conf.beat_schedule的任务。Celery不支持在windows上直接执行，通过eventlet支持在win上执行。提交的任务【函数】都放在这里， celery本身不能提供信息中介软件。通过将celery服务封装成包的形式，放在项目需要使用的时候汇入即可。第三步：启动worker，如果有定时任务，启动beat。2、Celery执行异步任务、延迟任务、定时任务。真正执行任务的的地方，一个个程序中执行函数。celery.py ---->秒杀任务。
celery的使用(最新详细解析)
IT之一小佬的博客
12-25 1万+
celery的使用 一. Celery简介 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。 消息中间件：Celery本身不提供消息服务，但是可以方便的和第三方提供的消息中间件集成。包括，RabbitMQ, Redis等等。 任务执行单元：Worker是Ce...
Celery介绍与使用
qq_44623314的博客
06-19 1152
Celery是一个功能完备即插即用的任务队列。它使得我们不需要考虑复杂的问题，使用非常简单。celery看起来似乎很庞大，本章节我们先对其进行简单的了解，然后再去学习其他一些高级特性。celery适用异步处理问题，当发送邮件、或者文件上传, 图像处理等等一些比较耗时的操作，我们可将其异步执行，这样用户不需要等待很久，提高用户体验。celery的特点是：* 简单，易于使用和维护，有丰富的文档。* 高效，单个celery进程每分钟可以处理数百万个任务。
测试celery使用的功能
04-03
在这个“测试celery使用的功能”的场景中，我们将探讨 Celery 的核心概念、如何集成到 Django 项目（因为文件名提到了 `djangotask`），以及如何进行测试。 1. **Celery 的核心概念** - **任务（Task）**：Celery ...
Django中使用Celery的教程详解
09-20
本文将深入探讨如何在Django项目中集成并使用Celery。 首先，理解Django的请求处理流程对于了解Celery的重要性至关重要。当用户发起请求时，请求经过一系列的处理步骤，包括中间件、路由映射、视图函数等，最终返回...
Django4.2+drf+celery使用手册
03-12
环境
Celery介绍以及使用
xiaoduu的博客
08-03 5007
文章目录celery一、什么是celery1、celery是什么：2、使用场景3、Celery的优点4、Celery的安装二、Celery执行异步任务1、创建异步任务执行文件（消费者）2、创建生产者文件3、创建result文件去获取任务函数的返回值，从而查看任务执行结果4、多目录结构5、异步任务和定时任务6、多目录结构下celery执行三、Django中使用celery注意点概念介绍总体流程文件对应的代码 celery 转载地址：https://www.cnblogs.com/pyedu/p/1246181
celery 简要概述
热门推荐
阿常呓语的专栏
07-29 5万+
文章目录1 celery 简要概述1.1 celery 可以做什么?2 celery 的核心模块2-1 celery 的5个角色3 celery 和flask 如何结合起来3.1项目结构3.2 项目入口 文件 routes.py3.3 task 如何定义3.3.1 绑定任务3.4 worker 启动入口3.5 消费者如何工作3.6 如何通过task_id 去获取任务状态呢4 源码解析4.1 c...
celery介绍
Yietong的博客
11-18 2822
2， celery服务为为其他项目服务提供一部解决任务的需求’ ## 会有两个服务同时运行，一个是项目服务，一个是celery服务， 项目服务讲需要异步处理的任务交给celery服务 , celery就会在需要时一步完成项目的需求。事件： 像后端秒杀接口发送请求， 发送完立马起一个定时任务， 每隔5秒，像后端查看一下是否秒杀成功， 如果没成功，定时任务继续执行， 如果成功，清空定时任务。定时更新，保持了一致。1， 写一个main.py: 实例化得到app对象， 写函数，任务，注册成celery的任务，
celery的用法详解
liulanba的博客
07-02 2367
Celery 是一个开源的分布式任务队列框架，用于在分布式系统中进行异步任务调度和处理。它使用消息代理（如 RabbitMQ、Redis）来实现任务的发布和消费，支持任务的并发执行、定时调度和结果收集。
python 异步消息队列组件 Celery 使用入门
黑色小米粥
06-18 885
目录一、什么是Celery1.1、celery是什么1.2、使用场景1.3、Celery具有以下优点1.4、Celery安装二、Celery执行异步任务2.1、基本使用2.1、多任务结构三、Celery执行定时任务四、Django中使用celery 参考视频：https://www.bilibili.com/video/BV1Pa4y1Y7QN 一、什么是Celery 1.1、celery是什么 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度
异步消息队列Celery
平时不搬砖的博客
03-18 1305
python中异步消息队列Celery使用，执行异步任务定时任务，Django中使用异步消息队列Celery
celery 使用示例
07-15
当然，我可以给你一个简单的 Celery 使用示例。Celery 是一个强大的分布式任务队列框架，常用于处理异步任务和定时任务。 首先，你需要安装 Celery。你可以使用 pip 命令来安装： ```bash pip install celery ``` 接下来，创建一个 Celery 应用。在你的项目中创建一个名为 `tasks.py` 的文件，并添加以下内容： ```python from celery import Celery # 创建 Celery 应用 app = Celery('tasks', broker='redis://localhost:6379/0') # 定义任务 @app.task def add(x, y): return x + y ``` 这里我们使用了 Redis 作为消息代理（broker），你也可以选择其他的消息代理，比如 RabbitMQ。 接下来，在你的项目根目录下创建一个名为 `celery_worker.py` 的文件，并添加以下内容： ```python from tasks import app # 启动 Celery 工作进程 if __name__ == '__main__': app.worker_main() ``` 现在，你可以启动 Celery 工作进程了。打开终端，进入你的项目根目录，运行以下命令： ```bash celery -A celery_worker worker --loglevel=info ``` 这样，Celery 工作进程就会启动并开始监听任务了。 最后，你可以在你的代码中调用 `add` 任务，示例如下： ```python from tasks import add result = add.delay(4, 6) # 异步调用任务 print(result.get()) # 获取任务结果 ``` 这样就完成了一个简单的 Celery 使用示例。你可以根据自己的需求定义更多的任务，并在你的代码中调用它们。希望对你有帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值