项目背景
异步任务队列的主要应用场景在:
- 无须实现响应,性能占用较大,任务处理时间较长的任务,如占用网络性能的发送邮件,占用IO性能的视频处理。
- 按时发布的定时任务,如定期对服务器的检查,对当天网站的监测分析。
Celery组件简介
Celery(芹菜)是一个Python编写的异步任务队列/基于分布式消息传递的作业队列。用于处理数以百万计的任务。
- 三大组件: 消息中间件 (Broker),任务执行单元(Worker)和 任务执行结果存储(Backend)。
- Celery支持RabbitMQ、Redis、ZoopKeeper等作为Broker,而对这些消息队列的抽象,都是通过Kombu实现的。
Flower是基于web的 监控 和管理Celery的实时监控工具。
Redis(Remote Dictionary Server)远程字典数据服务的缩写,由意大利人开发的是一款内存高速缓存数据库。
安装项目所需软件:
安装redis,可参考前面redis博客
pip install celery
pip install flower
也可告诉下载
pip install -i https://pypi.douban.com/simple celery
pip install -i https://pypi.douban.com/simple flower
项目结构:
项目代码:
1 、启动Celery程序
- 项目配置文件
from datetime import timedelta
from celery.schedules import crontab
# 使用Redis作为消息代理
BROKER_URL = 'redis://127.0.0.1:6379/1'
# 使用Redis作为任务执行结果存储数据库,也可以时MySQL数据库
CELERY_RESULT_BACKEND = 'redis://127.0.0.1:6379/2'
# 任务序列化和反序列化格式为msgpack(类似于json格式)
CELERY_TASK_SERIALIZER = 'msgpack'
# 任务结果序列化存储格式为JSON(可读性更好)
CELERY_RESULT_SERIALIZER = 'json'
# 任务过期时间
CELERY_TASK_RESULT_EXPIRES = 60 * 60 * 24
CELERY_ACCEPT_CONTENT = ['json','msgpack']
#设置时区
CELERY_TIMEZONE = 'Asia/Shanghai'
# 配置定时任务
CELERYBEAT_SCHEDULE = {
'send-every-3-seconds':{
#执行任务的名称
'task':'tasks.send_email',
#定时任务配置(每隔5秒钟)
'schedule': timedelta(seconds=5),
#crontab定时任务
# 'schedule':crontab(hour=16,minute=30)
'args':({'to':'hello@qq.com'},)
},
'add-every-2-seconds':{
'task':'tasks.add',
'schedule':timedelta(seconds=2),
'args':(1,2)
},
}
- 项目任务文件
import time
from main import app
@app.task
def send_email(mail):
"""模拟发送邮件"""
print('sending mail to %s......' % (mail['to']))
time.sleep(2)
print('mail end')
return 'send mail successful'
@app.task
def add(x, y):
"""模拟计算函数"""
time.sleep(0.5)
print("结果为:%s"%(x+y))
return x + y
- 项目主程序
from celery import Celery
# include 指定任务存储文件位置
app = Celery('app',include=['tasks'])
#加载配置文件
app.config_from_object('config')
if __name__ == '__main__':
# 启动异步任务
app.start()
# app.run()
- 启动Celery
celery worker -A tasks -B --loglevel=info
交互式环境异步任务
Celery 产生任务的方式有两种:
- 发布者发布任务
- 任务调度按时发布定时任务
1、发布者发布任务:
1、开启celery
celery worker -A tasks -B --loglevel=info
2、ipython
3、
2、任务调度按时发布定时任务
Flower监控Celery
命令:
celery -A main flower --port=5556
点击链接(http://localhost:5556)即可查看。
邮件报警
邮件信息传递工作原理
SMTP协议: Simple Mail Transfer Protocol, 是一种提供可靠且有效的电子邮件传输的协议。SMTP建立在FTP文件传输服务上的一种邮件服务,主要用于系统之间的邮件信息传递,并提供有关来信的通知。
POP3协议: Post Office Protocol - Version 3, 主要用于支持使用客户端远程管理在服务器上的电子邮件。
MIME是多功能Internet邮件扩展,设计的最初目的是为了在发送电子邮件时附加多媒体数据,让邮件客户程序能根据其类型进行处理。
常见的MIME类型(通用型):
- 超文本标记语言: .html text/html
- xml文档 : .xml text/xml
- PDF文档: .pdf application/pdf
代码实现发送邮件的基本思路是:登录邮箱—>写邮件—>发送邮件
发送邮箱设置:开通自己邮箱SMTP功能,以163邮箱为例:设置—>POP3/SMTP/IMAP
获取授权码可以将SMTP关闭后重新开启,发送短信即可设置授权码。
含附件邮件报警代码(163邮箱)
使用MIMEMultipart来标示这个邮件是多个部分组成的,然后attach各个部分。如果是附件,则add_header加入附件的声明。
MIME有很多种类型,如果附件是图片格式,我要用MIMEImage,如果是音频,要用MIMEAudio等等。
注意:不管什么类型的附件,我们都用MIMEApplication,MIMEApplication默认子类型是application/octet-stream。
"""
File:邮件信息传递.py
Author:wangduoyu
Date:2020-02-13
Connect:854429157@qq.com
Description:
带附件邮件的发送
"""
import os
import smtplib
from email.mime.application import MIMEApplication
from email.mime.multipart import MIMEMultipart
from email.mime.text import MIMEText
from email.utils import formataddr
#设置服务器,用户名、口令以及邮箱的后缀
# 使用的邮箱的smtp服务器地址,这里是163,端口默认为25
smtp_server = 'smtp.163.com'
# 发件人名称
from_username = '字节跳动'
# 用户名,登录名
mail_user = '********@163.com'
# 授权码,注意这里不是密码而是授权码
mail_password = '********'
# 邮箱后缀
mail_prefix = '[技术开发部]'
def format_attach(file):
"""
附件处理
:param file:文件对象
:return:
"""
# 获取附件的名称:hello.png
filename = file.name
# 分离文件名和后缀名: hello.png ====> ('hello','png')
base, ext = os.path.splitext(filename)
# MIMEApplication----对不明确的附近类型进行封装
attach = MIMEApplication(file.read(),_subtype=ext)
# 在传送过程中如果是中文名的文件,则会出现乱码,add_header可以避免乱码
attach.add_header('content-disposition','attachment',filename=filename)
return attach
def send_mail(to_addrs:str,subject:str,content:str,attaches=None):
"""
发送邮件
:param to_addrs: 邮件接收人
:param subject: 邮件标题
:param content: 邮件正文内容
:param attaches: 有无附件
:return: Bool
"""
#将要发送的文本信息做MIME封装
# msg = MIMEText(content)
#创建一个带附件的实例并进行封装
"""
_subtype指定要添加到“Content-type:multipart/subtype”报头的可选的三种子类型
分别为mixed,related,alternative,默认值为mixed,
1) mixed: 实现构建一个带附件的邮件体
2) related:实现构建内嵌资源的邮件体
3) alternative: 实现构建纯文本和超文本共存的邮件体
"""
msg = MIMEMultipart(_subtype='alternative')
# 格式化发件人名称
# 发送人的名称和邮箱地址
msg['From'] = formataddr([from_username,mail_user])
# 接收人
msg['To'] = to_addrs
# 主题
msg['Subject'] = mail_prefix + subject
# 邮件正文内容
msg.attach(MIMEText(content))
# 邮件附件,判断是否存在
if attaches:
for attach in attaches:
# if os.path.exists(attach):
with open(attach,'rb') as f:
# 将附件添加至正文中
msg.attach(format_attach(f))
else:
print("附件%s不存在" %(attaches))
try:
"""
发件人邮箱中的SMTP服务器,一般端口是25。 常用的邮箱统计如下:
邮箱名称 端口 SSL开启? 实例化代码
QQ邮箱 465 True smtplib.SMTP_SSL("smtp.qq.com",465)
163邮箱 25 False smyplib.SMTP()
"""
# 建立连接
server = smtplib.SMTP()
#连接邮件服务器
server.connect(smtp_server)
# 登录
server.login(mail_user,mail_password)
# 发送邮件内容
server.sendmail(mail_user,to_addrs,msg.as_string())
#关闭连接
server.quit()
except Exception as e :
print(str(e))
return False
else:
return True
if __name__ == '__main__':
# 正文
msg = '恭喜喜提30W年薪offer一枚'
# 接收人
to_list = '********@qq.com'
# 发送邮件
send_mail(to_list,"录取Offer",msg,attaches=['/etc/group'])