Django 扩展(一)

最新推荐文章于 2020-09-09 15:46:06 发布

沉觞流年

最新推荐文章于 2020-09-09 15:46:06 发布

阅读量540

点赞数

分类专栏： # Python Django 项目

本文链接：https://blog.csdn.net/qq_44614026/article/details/91046592

版权

Python Django 项目专栏收录该内容

16 篇文章 7 订阅

订阅专栏

celery介绍

Celery - 分布式任务队列. Celery 是一个简单、灵活且可靠的, 基于python开发的分布式异步消息任务队列，
通过它可以轻松的实现任务的异步处理， 如果你的业务场景中需要用到异步任务，就可以考虑使用celery.
使用场景:
	1.你想执行一个操作，可能会花很长时间，但你不想让你的程序一直等着结果返回，而是想有创建一个任务,
	这个任务会在其他地方执行,执行完毕后会你拿到结果， 在任务执行过程，你可以继续做其它的事情。 
	2.你想做一个定时任务，比如每个星期五发送一条会议通知.
同步：同一个线程中执行
异步：不同线程中执行

Celery它是一个专注于实时处理的任务队列，同时也支持任务调度.

Celery是基于Python开发的一个分布式任务队列框架，支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度.

安装celery

现在这个项目只是django的一个小项目,可以不用创建新的虚拟环境,直接使用之前的env3

创建虚拟环境 
	mkvirtualenv celeryenv
使用pip安装
	pip install celery

redis操作:

安装redis
	pip install redis
    sudo apt install redis-server
启动redis服务
	redis-server

Django中使用celery

安装celery

pip install celery

安装redis

pip install redis

安装sqlalchemy

pip install sqlalchemy

启动celery服务

celery -A woker worker -l info
注意: proj是工程名称

mycelery项目

1.新建一个mycelery的django项目

在终端使用命令

workon env3                               #进入虚拟环境
django-admin startproject mycelery        #新建一个mycelery的django项目
cd mycelery                               #进入mycelery目录下
python manage.py startapp app             #也可以在pycharm里建

2.用pycharm打开这个项目

2.1 在setting.py文件下注册一下app

2.2在项目根目录下新建一个tasks.py文件

在tasks.py下导入Celery

from celery import Celery

创建一个celery的app
'tasks’名称最好和文件名称一致
broker: 任务队列所在位置
格式: redis数据库://　ip : redis数据库的端口号/redis数据库1 redis的数据库可选从0-12
backend: 后端，Celery执行的结果保存的位置　
格式和broker一样，redis数据库也可以是一样的，也可以不一样

app = Celery('tasks',broker='redis://127.0.0.1:6379/1',backend='redis://127.0.0.1:6379/1')

现在,这个异步任务队列就可以用了

2.3举个简单的例子介绍一下这个功能

2.3.1在tasks.py下定义一个函数add,导入时间模块模拟一下延迟

def add(a,b):
	time.sleep(5)
	return a+b


if __name__ == '__main__':
	res=add(3,4)
	print(res)

右击run运行一下这个文件,可以知道,等5秒后才会打印结果7

2.3.2 现在,修改一下

给函数加上装饰器@app.task,在add后加上delay的函数,这个函数是在装饰器里的函数,表示这个函数可以去延迟
加上这个函数后,会将add函数的执行放到上面Celery里的异步队列里

@app.task
def add(a,b):
	time.sleep(5)
	return a+b


if __name__ == '__main__':
	res=add.delay(3,4)
	print(res)

2.3.2 开启这个异步队列

在底部的Terminal栏输入命令celery会出来一些命令的参数,可以查看一下这些命令

输入命令
celery -A表示开启一个任务; 任务的文件是tasks .py ;这里开启一个tasks的worker; -l info表示打印所有返回的信息

celery -A tasks worker -l info

在这里插入图片描述
可以看到任务已经添加到队列里
然后右键点击’run’运行这个tasks.py文件
会出现一串16进制的的代码 '586ca304-9856-4f12-96bd-34cf183c18d6’这个是任务的标识
可以倒回去看一下Terminal栏中的信息

也就是这个任务,最后一句,任务在5秒左右的时间内成功执行,结果是7;
这个任务已经保存到了redis里,也可以在redis里看到这个执行的结果
这些内容也都有显示
在这里插入图片描述
上面keys里面的内容,也可以用type去查看一下类型

以上是一个简单的celery的功能的介绍,现在需要把这个和Django结合起来

2.3.3 将celery与Django结合

2.3.3.1 在项目根目录下创建一个worker包,然后在worker文件夹下新建一个config.py文件,这个文件是用来作为配置文件的

config .py文件

broker_url = 'redis://127.0.0.1:6379/13'  #任务队列的位置
broker_pool_limit = 100  # Borker 连接池,能同时连接100个, 不写默认是10

timezone = 'Asia/Shanghai'#时区
accept_content = ['pickle', 'json'] #接收两种格式,

task_serializer = 'pickle'#接收的格式默认是pickle序列化

result_backend = 'redis://127.0.0.1:6379/13' #后端的结果
result_serializer = 'pickle'#结果的序列化也是pickle
result_cache_max = 1000  # 任务结果最大缓存数量
result_expires = 3600  # 任务过期时间

worker_redirect_stdouts_level = 'INFO'  
#打印输出的等级引号里面可以是DEBUG,ERROR等

2.3.3.2 在worker文件夹下的 init .py 下新建celery的app

import os

from celery import Celery
from worker import config

# 调用django的环境
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'mycleery.settings')

# 新建celery_app
celery_app = Celery('mycelery')

# 读取配置
celery_app.config_from_object(config)

#自动去发现celery的任务
celery_app.autodiscover_tasks()

2.3.3.3 在app下的views.py文件下写一下视图函数,调用异步任务队列

这里先不调用异步任务队列,试一下效果

import time

from django.http import HttpResponse
from django.shortcuts import render
from worker import celery_app

# worker文件夹下新建的celery_app
@celery_app.task
def add(a,b):
	time.sleep(5)
	return a+b


def index(request):
	# 不调异步任务
	add(5,8)
	# 调一下异步任务
	# add.delay(3,7)
	return HttpResponse('ok')

在mycelery文件夹下的urls.py文件下写一条url
在这里插入图片描述
在Terminal栏输入命令 python manage .py runserver 运行这个项目
在浏览器地址栏输入 : 127.0.0.1:8000/index/
浏览器会先刷新5秒(time sleep模拟了延迟),再显示 ok,也可以刷新一下网页,可以看到网页要刷新5秒

把不调异步任务注释,调用一下异步任务
点一下刷新,可以看到这时就不用延迟了,实际上是把任务放到了异步任务队列里

也可以去开启一下异步任务队列查看一下
输入一下命令,这个celery_app是在init文件里在这里插入图片描述
可以在浏览器中开启多个网页,在浏览器的地址栏中都输入:127.0.0.1:8000/index/
网页立马弹出’ok’,没有延迟

然后查看一下Terminal栏中的信息,开启了三个异步任务,都是在5秒左右完成,打印了函数的结果10
(把延迟时间调长一点,可以看到Terminal栏的变化)
在这里插入图片描述

3. 通过异步任务队列发邮件

发邮件的协议是SMTP协议,收邮件的协议是pop3
以qq邮箱为例设置–>账户
在这里插入图片描述
开启这些服务,腾讯会有一个授权码,把这个授权码保存下来

3.1 在mycelery文件夹下的setting.py文件下末尾加入几行代码

EMAIL_HOST = 'smtp.qq.com'
EMAIL_HOST_USER = 'xxxx@qq.com'   #qq邮箱
EMAIL_HOST_PASSWORD = 'xxxxxx'    ##授权码

3.1.1可以先测试一下,这时已经集成了发送邮件的相关内容

在pycharm的console栏输入

 from django.core.mail import send_mail

可以用 send_mail??查看一些参数,主要这四个参数
在这里插入图片描述
然后输入代码

最后一个参数是列表,接收者可以是多个(可以是自己),这里用自己的账号测试
可以发现自己的qq邮箱里多了一个邮件

3.2 把发邮件放到异步任务队列里

在app文件夹下新建一个celery_tasks文件

from worker import celery_app

from django.core.mail import send_mail


# 发送邮件
@celery_app.task
def my_send_mail(reciept):
    # 把发给谁放到reciept
    send_mail('django mail test', 'hello this is test', 'xxxxx@qq.com', recipient_list=[reciept,])

然后修改app下的views.py文件

from django.http import HttpResponse
from worker import celery_app
from app.celery_tasks import my_send_mail

def index(request):
	
	# 发送邮件                给谁
	my_send_mail.delay('xxxxx@qq.com')
	return HttpResponse('ok')

在Terminal栏输入命令,查看一下异步队列,去发现这个异步任务