Celery的使用(django项目实例)

本文介绍了Celery作为Python的分布式任务队列的使用,包括Celery的核心模块、安装步骤、在Django项目中的应用,如创建发送验证邮件和短信的任务,以及如何配置和使用flower监控模块和Celery的定时任务。通过Celery,可以实现任务的异步处理和高可用性。
摘要由CSDN通过智能技术生成

前文:Celery中文文档:http://docs.jinkan.org/docs/celery/getting-started/first-steps-with-celery.html#first-steps
版本容易踩坑,本文版本为:

  • celery 3.1.26.post2
  • django-celery 3.3.0
  • django-redis 4.10.0
  • redis 2.10.6

Celery的介绍

Celery 是一个 基于python开发的分布式异步消息任务队列,通过它可以轻松的实现任务的异步处理, 如果你的业务场景中需要用到异步任务,就可以考虑使用celery, 举几个实例场景中可用的例子:

  • 你想对100台机器执行一条批量命令,可能会花很长时间 ,但你不想让你的程序等着结果返回,而是给你返回一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务执行结果, 在任务执行ing进行时,你可以继续做其它的事情。
  • 你想做一个定时任务,比如每天检测一下你们所有客户的资料,如果发现今天 是客户的生日,就给他发个短信祝福

Celery 在执行任务时需要通过一个消息中间件来接收和发送任务消息,以及存储任务结果, 一般使用rabbitMQ or Redis,后面会讲

Celery的核心模块

Celery有一下5个核心角色
Task
就是任务,有异步任务和定时任务
Broker
中间人,接收生产者发来的消息即Task,将任务存入队列。任务的消费者是Worker。Celery本身不提供队列服务,推荐用Redis或RabbitMQ实现队列服务。
Worker
执行任务的单元,它实时监控消息队列,如果有任务就获取任务并执行它。
Beat
定时任务调度器,根据配置定时将任务发送给Broler。
Backend
用于存储任务的执行结果。
各个角色间的关系看下面这张图理解一下:
在这里插入图片描述

Celery优点和流程

Celery有以下优点:

  • 简单:一单熟悉了celery的工作流程后,配置和使用还是比较简单的
  • 高可用:当任务执行失败或执行过程中发生连接中断,celery 会自动尝试重新执行任务
  • 快速:一个单进程的celery每分钟可处理上百万个任务
  • 灵活: 几乎celery的各个组件都可以被扩展及自定制

Celery基本工作流程图:
在这里插入图片描述

安装Celery

同时需要安装中间人broker,通常是RabbitMQ或者Redis,自行百度安装
这是redis和celery同时安装:

pip install -U "celery[redis]"

安装RabbitMQ:

sudo apt-get install rabbitmq-server

简单的使用celery

from celery import Celery
# broker是指定中间存储,backend是结果存储
app = Celery('tasks',
             broker='redis://127.0.0.1/3',
             backend='redis://127.0.0.1/3')

# app = Celery('tasks',broker='amqp://192.168.3.108',backend='rpc://192.168.3.108',  # 新版本rpc将初步替代amqp,用的还是RabbitMQ# backend='amqp://192.168.3.108',  # 如果是旧版本,没有rpc,那只能用amqp)

# 创建任务函数
@app.task
def work1():
    print('这是任务1')
    
# 任务的发布,delay这里填函数参数
work1.delay()

启动celery,在终端启动
celery -A 任务模块名 worker -l info

django项目中使用celery

在项目文件夹下创建一个python package文件夹,取名为celery_tasks,里面分别创建启动文件main.py配置文件config.py
config.py内容,需要大写,这里的re

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值