celery+django+redis

最新推荐文章于 2024-08-20 08:56:16 发布
最新推荐文章于 2024-08-20 08:56:16 发布
阅读量625 收藏 4
点赞数 1
文章标签： linux python django redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44980838/article/details/103820678
版权

Celery介绍

1、celery应用举例
1、Celery 是一个 基于python开发的分布式异步消息任务队列，通过它可以轻松的实现任务的异步处理，
　如果你的业务场景中需要用到异步任务，就可以考虑使用celery

2、你想对100台机器执行一条批量命令，可能会花很长时间 ，但你不想让你的程序等着结果返回，而是给你返回 一个任务ID,
　　　　　　　　你过一段时间只需要拿着这个任务id就可以拿到任务执行结果， 在任务执行ing进行时，你可以继续做其它的事情

3、Celery 在执行任务时需要通过一个消息中间件来接收和发送任务消息，以及存储任务结果， 一般使用rabbitMQ or Redis

2、Celery有以下优点

1、简单：一单熟悉了celery的工作流程后，配置和使用还是比较简单的

2、高可用：当任务执行失败或执行过程中发生连接中断，celery 会自动尝试重新执行任务

3、快速：一个单进程的celery每分钟可处理上百万个任务

4、灵活： 几乎celery的各个组件都可以被扩展及自定制
　　　　　　
3、Celery基本工作流程图
在这里插入图片描述
user：用户程序，用于告知celery去执行一个任务。
broker: 存放任务（依赖RabbitMQ或Redis，进行存储）
worker：执行任务

4、Celery 特性

1）方便查看定时任务的执行情况, 如 是否成功, 当前状态, 执行任务,花费的时间等.

2）可选 多进程, Eventlet 和 Gevent 三种模型并发执行.

3）Celery 是语言无关的.它提供了python 等常见语言的接口支持.

celery 组件

1、Celery 扮演生产者和消费者的角色

Celery Beat : 任务调度器. Beat 进程会读取配置文件的内容, 周期性的将配置中到期需要执行的任务发送给任务队列.

Celery Worker : 执行任务的消费者, 通常会在多台服务器运行多个消费者, 提高运行效率.

Broker : 消息代理, 队列本身. 也称为消息中间件. 接受任务生产者发送过来的任务消息, 存进队列再按序分发给任务消费方(通常是消息队列或者数据库).

Producer : 任务生产者. 调用 Celery API , 函数或者装饰器, 而产生任务并交给任务队列处理的都是任务生产者.

Result Backend : 任务处理完成之后保存状态信息和结果, 以供查询.

2、celery架构图
　在这里插入图片描述
3. 产生任务的方式

1) 发布者发布任务(WEB 应用)

2) 任务调度按期发布任务(定时任务)

4. celery 依赖三个库: 这三个库, 都由 Celery 的开发者开发和维护.

billiard : 基于 Python2.7 的 multisuprocessing 而改进的库, 主要用来提高性能和稳定性.

librabbitmp : C 语言实现的 Python 客户端

kombu : Celery 自带的用来收发消息的库, 提供了符合 Python 语言习惯的, 使用 AMQP 协议的高级借口.

celery安装相关包 与 管理命令

1、安装相关软件包

pip3 install Django==2.0.4
pip3 install celery==4.3.0
pip3 install redis==3.2.1
pip3 install  django-celery==3.1.17
pip3 install ipython==7.6.1 

find ./ -type f | xargs sed -i 's/\r$//g'  # 批量将当前文件夹下所有文件装换成unix格式

2、celery管理

celery multi start w1 w2 -A celery_pro -l info     #一次性启动w1,w2两个worker
celery -A celery_pro status                        #查看当前有哪些worker在运行
celery multi stop w1 w2 -A celery_pro              #停止w1,w2两个worker

celery  multi start celery_test -A celery_test -l debug --autoscale=50,5        # celery并发数：最多50个，最少5个
ps auxww|grep "celery worker"|grep -v grep|awk '{print $2}'|xargs kill -9       # 关闭所有celery进程

3、django_celery_beat管理

celery -A celery_test beat -l info -S django                   #启动心跳任务
ps -ef | grep -E "celery -A celery_test beat" | grep -v grep| awk '{print $2}' | xargs kill -TERM &> /dev/null  # 杀死心跳所有进程

Django+redis+celery异步任务

1、在Django中使用celery介绍（celery在windows下没有liunx好）

1）在Django中使用celery时，celery文件必须以tasks.py 2）Django会自动到每个APP中找tasks.py文件

2、创建一个Django项目celery_test，和app01

3、在与项目同名的目录下创建celery.py

# -*- coding: utf-8 -*-
from __future__ import absolute_import
import os
from celery import Celery

# 只要是想在自己的脚本中访问Django的数据库等文件就必须配置Django的环境变量
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'celery_test.settings')

# app名字
app = Celery('celery_test')

# 配置celery
class Config:
    BROKER_URL = 'redis://192.168.56.11:6379'
    CELERY_RESULT_BACKEND = 'redis://192.168.56.11:6379'

app.config_from_object(Config)
# 到各个APP里自动发现tasks.py文件
app.autodiscover_tasks()

4、在与项目同名的目录下的 init.py 文件中添加下面内容

# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals

# 告诉Django在启动时别忘了检测我的celery文件
from .celery import app as celery_ap
__all__ = ['celery_app']

5、创建app01/tasks.py文件

# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals
from celery import shared_task
import time

# 这里不再使用@app.task,而是用@shared_task，是指定可以在其他APP中也可以调用这个任务
@shared_task
def add(x,y):
    print('########## running add #####################')
    return x + y

@shared_task
def minus(x,y):
    time.sleep(30)
    print('########## running minus #####################')
    return x - y

6、将celery_test这个Django项目拷贝到centos7.3的django_test文件夹中
7、保证启动了redis-server
8、启动一个celery的worker

celery multi start w1 w2 -A celery_pro -l info     #一次性启动w1,w2两个worker
celery -A celery_pro status                        #查看当前有哪些worker在运行
celery multi stop w1 w2 -A celery_pro              #停止w1,w2两个worker

celery  multi start celery_test -A celery_test -l debug --autoscale=50,5        # celery并发数：最多50个，最少5个
ps auxww|grep "celery worker"|grep -v grep|awk '{print $2}'|xargs kill -9       # 关闭所有celery进程

9、测试celery

./manage.py shell
import tasks
t1 = tasks.minus.delay(5,3)
t2 = tasks.add.delay(3,4)
t1.get()
t2.get()

Django+redis+celery定时任务

1、在Django中使用celery的定时任务需要安装django-celery-beat

pip3 install django-celery-beat

2、在Django的settings中注册django_celery_beat

INSTALLED_APPS = (
    ...,
    'django_celery_beat',
)

3、执行创建表命令

python3 manage.py makemigrations

python3 manage.py migrate

4、在与项目同名的目录下的celery.py中添加定时任务

# -*- coding: utf-8 -*-
from __future__ import absolute_import
import os
from celery import Celery
from celery.schedules import crontab
from datetime import timedelta
from kombu import Queue

# 只要是想在自己的脚本中访问Django的数据库等文件就必须配置Django的环境变量
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'celery_test.settings')

# app名字
app = Celery('celery_test')

# 配置celery
class Config:
    BROKER_URL = 'redis://192.168.56.11:6379'  # broker
    CELERY_RESULT_BACKEND = 'redis://192.168.56.11:6379'  # backend
    CELERY_ACCEPT_CONTENT = ['application/json']  # 指定任务接受的内容类型(序列化)
    CELERY_TASK_SERIALIZER = 'json'  # 任务的序列化方式
    CELERY_RESULT_SERIALIZER = 'json'  # 任务执行结果的序列化方式
    CELERY_TIMEZONE = 'Asia/Shanghai'  # 时区设置，计划任务需要，推荐 Asia/Shanghai
    ENABLE_UTC = False  # 不使用UTC时区
    CELERY_TASK_RESULT_EXPIRES = 60 * 60  # celery任务执行结果的超时时间
    CELERY_ANNOTATIONS = {'*': {'rate_limit': '500/s'}}
    # CELERYD_PREFETCH_MULTIPLIER = 10  # 每次取任务的数量
    CELERYD_MAX_TASKS_PER_CHILD = 16  # 每个worker执行了多少任务就会死掉，防止内存泄漏

app.config_from_object(Config)
app.autodiscover_tasks()

#crontab config
app.conf.update(
    CELERYBEAT_SCHEDULE = {
        # 每隔3s执行一次add函数
        'every-3-min-add': {
            'task': 'app01.tasks.add',
            'schedule': timedelta(seconds=10)
        },
        # 每天下午15:420执行
        'add-every-day-morning@14:50': {
            'task': 'app01.tasks.minus',
            'schedule': crontab(hour=19, minute=50, day_of_week='*/1'),
        },
    },
)

# kombu : Celery 自带的用来收发消息的库, 提供了符合 Python 语言习惯的, 使用 AMQP 协议的高级接口
Queue('transient', routing_key='transient',delivery_mode=1)

5、app01/tasks.py

# -*- coding:utf8 -*-
from __future__ import absolute_import, unicode_literals
from celery import shared_task
import time

# 这里不再使用@app.task,而是用@shared_task，是指定可以在其他APP中也可以调用这个任务
@shared_task
def add():
    print('########## running add #####################')
    return 'add'

@shared_task
def minus():
    time.sleep(30)
    print('########## running minus #####################')
    return 'minus'

6、管理命令

'''1、celery管理 '''
celery  multi start celery_test -A celery_test -l debug --autoscale=50,5        # celery并发数：最多50个，最少5个
ps auxww|grep "celery worker"|grep -v grep|awk '{print $2}'|xargs kill -9       # 关闭所有celery进程

'''2、django-celery-beat心跳服务管理 '''
celery -A celery_test beat -l info -S django                   #启动心跳任务
ps -ef | grep -E "celery -A celery_test beat" | grep -v grep| awk '{print $2}' | xargs kill -TERM &> /dev/null  # 杀死心跳所有进程

参考网站：https://www.cnblogs.com/xiaonq/p/11166235.html

似非。
关注
Docker部署Django要点注意（Docker+Django+Celery+Redis+Channel）
Jack Lee's blogs
01-10 714
参考： 1.Django-Docker容器化部署：Django-Docker部署 2.一步步构建django + redis + mysql + nginx项目 3.在Docker容器中配置和运行Django + Celery 启动Celery关键：要通过docker-compose中在容器中启动celery（而不是直接在宿主机环境启动celery，这样会访问不了Django容器中的sqlite3数据库或者PostgreSQL数据库容器），将celery、redis、django几个容器互相连接。如果有Po
Django|Redis|Celery 配置与部署
蓦默的博客
12-30 3068
引言 安装 Django Redis Celery 配置 使用 部署引言在django项目中，经常需要使用异步执行定时任务，如定时发送邮件、清空数据等，celery是很好的选择。本文介绍了使用redis作为broker的celery的使用和部署。安装Django + Redisdjango与celery相关的安装已经在之前写过，这里不再赘述。详见Django|Nginx|Uwsgi|Redis|W
Python-django的celery和redis简单示例项目
08-10
django的celery和redis简单示例项目
异步任务队列Celery在Django中的使用
weixin_30610755的博客
07-02 530
　　前段时间在Django Web平台开发中，碰到一些请求执行的任务时间较长（几分钟），为了加快用户的响应时间，因此决定采用异步任务的方式在后台执行这些任务。在同事的指引下接触了Celery这个异步任务队列框架，鉴于网上关于Celery和Django结合的文档较少，大部分也只是粗粗介绍了大概的流程，在实践过程中还是遇到了不少坑，希望记录下来帮助有需要的朋友。 一、Django中的异步请求 Dj...
Django后端架构开发：Django 与 Celery 的深度集成
最新发布
switch616的博客
08-20 1092
在现代 Web 应用中，处理异步任务已成为优化性能、提升用户体验的关键。Django 项目中使用 Celery 可以帮助我们实现异步任务处理，显著提高系统的响应速度和扩展性。Celery 是一个简单、灵活且可靠的分布式任务队列系统，它支持任务的实时处理和定时任务调度。Celery 的工作原理非常简单：它将任务发送到消息队列（如 Redis、RabbitMQ 等），然后由 worker 进行处理。Celery 任务的异步处理，使得主应用可以立即返回响应，而不必等待耗时的任务完成。import os。
django celery redis
luckway的博客
12-18 802
django 2.1 python 3.7 os windows10 pip install celery==4.2.0 pip install redis # windows 如何运行celery4.X版本就需要安装eventlet 不然会报错 pip install eventlet 说下项目目录结构 新建一个celery.py的文件 from __future__ import abs...
django+celery+redis实现异步、定时任务（搭建后记录）
a961634066的博客
03-15 774
一、安装 注意：包的版本方面有要求，不然搭建好后运行会报错，以下是本次使用版本，可运行 1.pip安装celery==3.1.20，django-celery==3.3.1，redis==2.8.0，redis版本安装在3以下 二、配置及编写测试文件 1. 在与settings平级的目录下，新建celery.py文件 # !/usr/bin/env python # encoding: utf-8 # 目的是拒绝隐式引入，celery.py和celery冲突。 from __futur...
Python 之 Celery + Redis + Django 教程详细
YUAYU博客
07-07 6410
这里写目录标题第一章 Celery简介1、Celery是什么2、Celery使用场景3 、Celery工作流程4、Celery核心组件第二章 Celery安装相关软件1、Celery安装2、其他安装第三章 Celery代码实现1、Celery基本使用方法2、Celery的配置文件配置异步任务3、Celery的定时任务4、Django + Celery5、Celery的部署和监控 第一章 Celery简介 1、Celery是什么 1、Celery是python中使用比较多的并行分布式框架 2、Celery是
celery+django
LOVESD
06-29 134
celery+django 运行命令： celery -A celeryy.tasks worker -l info #启动队列任务 celery -A dd beat -l info #启动定时任务 项目结构： setting.py 配置文件添加 # Celery 设置 CELERY_BROKER_URL = 'amqp://celery:password123@ip:5672/my_vhost' #rabbitmq # CELERY_BROKER_URL = 'redis://1
详解django+django-celery+celery的整合实战
09-19
### 详解 Django + Django-Celery + Celery 的整合实战 #### 一、Celery简介与功能概述 Celery 是一款强大的分布式任务队列系统，主要用于处理大量的后台任务，包括但不限于异步任务处理和定时任务调度。其核心...
基于Python+Django+MySQL+Redis的仿天天生鲜商城源码+项目说明.zip
09-18
Python + Django + MySQL + Redis + Celery 注：后台管理系统直接使用Django的admin实现 关于版本 Python 3.6 Django 2.2.12 MySQL 8.0.12 Celery 4.3.0 Redis 3.2.1 系统主要模块及实现功能 本系统分为了五个模块...
django_redis_celery
04-05
Django Celery与Redis 一个简单的dockerized django，以celery和redis为代理，并提供结果后端
Web-Full-Stack-Practice:初学者Web全栈实践：Docker + uWSGI + Celery + Django + Supervisor + React + Nginx + HTTPS + Postgres + Redis
05-30
Web Full Stack Practice：Docker + uWSGI + Celery + Django + Supervisor + React + Nginx + Https + Postgres + Redis 本项目主要介绍基于 Docker 的 Web 开发和部署（开发要求在改动代码时服务或页面能够实时...
Celery（3）：Celery+Django
Liao Tuo
10-17 510
源代码github地址: https://github.com/liaotuo/Celery.git新建Django工程$ django-admin.py startproject django_celery # 并新建如下文件 celery.py tasks.py views.py # 目录如下:django_celery/ ├── django_celery │ ├── celery.py
django+celery+redis实现运行定时任务
weixin_30500663的博客
04-21 496
0、目的 在开发项目中，经常有一些操作时间比较长（生产环境中超过了nginx的timeout时间），或者是间隔一段时间就要执行的任务。 在这种情况下，使用celery就是一个很好的选择。 celery是一个异步任务队列/基于分布式消息传递的作业队列。 Celery通过消息（message）进行通信，使用代理（broker）在客户端和工作执行者之间进行交互。 当开始一个任务时，客户端...
Django + celery +redis使用
weixin_30911809的博客
07-04 247
1.安装包 pip install celery pip install django-celery pip install pymysql 2.创建一个django项目 - proj/ - proj/__init__.py - proj/settings.py - proj/urls.py - manage.py ３.修改__ini...
celery(分布式任务队列)介绍+在django中异步回调使用+定时任务的使用
python_web全栈
02-04 7489
0. Celery介绍 Celery是一个功能完备即插即用的异步任务队列系统。它适用于异步处理问题，当发送邮件、或者文件上传, 图像处理等等一些比较耗时的操作，我们可将其异步执行，这样用户不需要等待很久，提高用户体验。 简单，易于使用和维护，有丰富的文档。 高效，单个celery进程每分钟可以处理数百万个任务。 灵活，celery中几乎每个部分都可以自定义扩展。 总之一句话，快 一. 官方文档 中文文档http://docs.jinkan.org/docs/celery/getting-sta
Django 3 + Celery 5 + redis 配合使用
zscccccc的博客
03-25 2265
Django 3 + Celery 5 + redis 配合使用
django+celery+redis框架搭建
le0chang的博客
07-26 858
第1步：安装celery与redis Mac OS X 安装 $ brew install Redis # Redis 安装，需提前安装 brew $ pip install celery # pip 安装celery库 $ pip install redis # pip 安装 redis库 如果您没有安装 brew，建议您先安装 brew 参考 brew安装 Windows 安装 参考菜鸟教程-Redis 安装 下载地址：https://github.com/MSOpenTech/r
把Celery集成到Django里之异步任务
steptodream的专栏
11-11 369
把Celery集成到Django并执行异步任务，Celery的消息队列和任务结果我们都使用redis来存储
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值