Python Celery 消息队列配置指南:最佳实践与完整版教程

前言:随着项目并发量的增加,怎样去提高项目的效率是我们不能不去考虑的事情,所有使用消息队列技术,将耗费时间的任务放到队列中做异步执行是非常好的一个策略,本文以django为例来说明celery的配置。

celery的介绍

  • 首先介绍一下celery

Celery 是一个简单、灵活、可靠的分布式系统,可处理大量消息,同时为操作提供维护此类系统所需的工具。它是一个专注于实时处理的任务队列,同时也支持任务调度。

  • celery结构

在这里插入图片描述
celery主要分为三个部分【客户端,broker,worker】,对于broker , celery支持使用支持如下的第三方工具(官方建议的是RabbitMQ,但是本文介绍的是使用Redis来实现celery):

在这里插入图片描述

开始配置

- 启动Redis

首先要安装redis,安装教程请自行查找,此文不做概述。

  1. 在redis目录下,输入cmd进入Dos窗口(必须Dos窗口要进入redis安装目录下):
    在这里插入图片描述在这里插入图片描述
    在这里插入图片描述
  2. 输入命令启动redis:redis-server.exe redis.windows.conf (Windows版本下命令,其它版本请自行百度)
    在这里插入图片描述

- 安装对应的库

以下是我的各库的版本:
Django : 3.2
Python : 3.7
Celery : 5.0.5
Redis : 3.5.3

一个小小的提醒:
1:安装时(还有后边的启动celery时)会出现各种匪夷所思的报错,各位加油吧,总之一句话:“遇到问题先看报啥错,千万别直接去搜,大家谨记”
2:遇到库的版本问题,提示那个库版本不对,换提示要求的那个库版本就好

安装:

pip install celery==5.0.5
pip install redis==3.5.3

- 配置Celery

  1. 首先让我们来看一下整个的目录(接下来我们一步一步的配置)
    在这里插入图片描述
  2. 新建一个包,名字随便起我的名字叫celery_tasks其次在该文件下创建两个文件,这两个文件的文件名是固定的不能修改分别为:config.py 和 main.py
    注意:这个包一定要和启动文件在同一个目录下
    在这里插入图片描述
  3. 回到主目录,在setting中配置一下redis的连接参数
REDIS_DATABASE = {
	# 配置的是队列执行结果存储的参数
    'CELERY_BACKEND': {
        'DB': '5',  # 随意一个库
        'HOST': '127.0.0.1',
        'PASSWORD': '123456',  # redis的密码
        'POST': '6379'
    },
    # 配置的是存储队列的参数
    'CELERY_BROKER': {
        'DB': '1',  # 随意一个库
        'HOST': '127.0.0.1',
        'PASSWORD': '123456',  # redis的密码
        'POST': '6379'
    }

}
  1. 配置main.py这个文件
from celery import Celery
import os
from django.conf import settings

# 读取Django的配置
""" 
DRF.settings:
	是settings这个文件的目录,一定要看好,我的主文件叫DRF所以我的目录是DRF.settings)
"""
os.environ["DJANGO_SETTINGS_MODULE"] = "DRF.settings"
# "redis://127.0.0.1:6379/1",只要在settings中配置好连接参数则下方直接复制就好
redis_database = settings.REDIS_DATABASE['CELERY_BACKEND']
backend = f'redis://:{redis_database["PASSWORD"]}@{redis_database["HOST"]}:{redis_database["POST"]}/{redis_database["DB"]}'
app = Celery("meiduo", backend=backend)
# app = Celery("meiduo")
# celery项目配置: worker代理人,指定任务存储到哪里区。

# celery_tasks是我们刚刚建的文件名
app.config_from_object('celery_tasks.config')


# 加载可用的任务,这个先不急,我们下方会说到
app.autodiscover_tasks([
    'celery_tasks.sms'
])

  1. 配置config.py文件
from django.conf import settings

# 代理人:指定redis作为消息队列
redis_database = settings.REDIS_DATABASE['CELERY_BROKER']
backend = f'redis://:{redis_database["PASSWORD"]}@{redis_database["HOST"]}:{redis_database["POST"]}/{redis_database["DB"]}'
broker_url = backend

  1. 开始创建任务模块
    首先在我们的celery目录下创建一个文件夹(包),名字随便起
    在这里插入图片描述
  2. 在该文件下再创建一个文件,此文件的名字是固定的,叫:tasks.py

在这里插入图片描述

  1. tasks.py配置
# 导入main中的app
from celery_tasks.main import app   
from time import sleep


@app.task
def send(a, b):
    # 具体要执行的任务
    print("开始")
    print(a, b)
    sleep(4)
    print("结束")
    return 1
  1. 将任务加入到任务列表中,在main.py这个文件中

在这里插入图片描述

到此时所有的配置工作就完成了,接下来我们启动celery

- 启动celery

  • 进入终端,此时要注意一个问题,终端中,目录一定要在项目的目录下,不能进入celery目录
    在这里插入图片描述

  • 命令启动

  • 如果你是max / linux系统,则直接输入:celery -A celery_tasks.main worker -l info

  • 如果你是windows系统(我是windows系统),则输入:celery -A celery_tasks.main worker --pool=solo -l info
    在这里插入图片描述
    在这里插入图片描述

- 写一个接口去调用任务

在其它的APP中直接正常写接口就好。
在这里插入图片描述在这里插入图片描述

  • 测试一下:
    请求完成:
    在这里插入图片描述
    接下来我们再看看celery的执行:
    在这里插入图片描述
    很明显已经执行完成,接下来我们看看redis中数据,因为我们的任务已经执行完成,所以在队列中已经没有数据了。
    在这里插入图片描述
    再看一下结果。结果已经写入了redis:
    在这里插入图片描述

- 获取任务的执行结果

此处我就不再写接口测试了,直接放一下获取结果的方法:

from celery.result import AsyncResult
from celery_tasks.sms.tasks import send

class GetSendSmsView(APIView):
    def get(self, request):
        data = request.query_params  # 接收任务的id(就是刚刚我们返回的那个)
        asy = AsyncResult(id=data['id'], app=app)
        if asy.successful():
            res = asy.get()
            print('任务执行结果:', res)
        elif asy.failed():
            print('任务失败')
        elif asy.status == 'PENDING':
            print('任务等待中被执行')
        elif asy.status == 'RETRY':
            print('任务异常后正在重试')
        elif asy.status == 'STARTED':
            print('任务已经开始被执行')
        return Response({})

以上就是Django配置Celery的全部过程了!

【文章编写不易,如需转发请联系作者!】

  • 2
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值