异步方案celery+rabbitmq小结(python、django)

实际开发过程中遇到的问题:
在开发网页的过程中,如果遇到网络请求这样的耗时操作,将会给用户在使用网页的时候带来不好的体验效果。比如说在注册账户的时候,用户点击了请求手机验证码的操作,但由于网络请求的延时的问题,导致网站的请求界面没有任何的反应,如倒计时提示60秒后可以再次请求一次验证码,给用户造成自己没有点击成功的错觉等不好的用户体验效果。

如何解决这样的问题呢?
异步发送短信
将发送短信和界面响应的分开执行,开启一个子进程来执行发送短信的任务。

上面的方案又存在什么样的缺陷呢?
假如现在用户注册的需要执行的异步任务发生了变化,比如既需要发送短信又需要邮箱验证,那么我们上面的业务逻辑就需要进行修改,为了避免这样的情况,可以采用异步任务队列来实现异步任务。

在这里采用celery+rabbitmq来实现异步任务队列。

首先来认识一下celery是什么?

celery是由python开发的,基于分布式消息传递系统的异步任务队列。

由于celery是基于分布式消息传递系统的,所以,它自身没有实现消息队列,而是需要依赖分布式消息队列来提供消息传递的服务,在celery中把这种提供消息传递服务的程序叫做代理,celery支持的代理有rabbitmq、redis、amazon SQS等等

celery每分钟可以处理数以百万计的任务,主要特点是简单、灵活、快速、可靠
简单:熟悉celery的工作流程之后,配置使用简单
高可用:当任务执行失败或执行任务的过程中发生连接中断,celery会自动尝试重新执行任务
快速:一个单进程的celery每分钟可处理上百万个任务
灵活:celery各个组件几乎都可以被扩展及自定制

celery架构&工作原理
从c/s架构的角度来看,celery分为客户端和服务端
celery客户端主要负责发送任务到任务队列里。
celery服务端主要由以下三部分构成: 消息中间件(Broker)、任务执行单元(Worker)、结果存储部件(Backend)
在这里插入图片描述

接下来来认识一下rabbitmq

rabbitmq是一个消息中间件、消息队列,它主要负责接收并转发消息。
在这里插入图片描述

这样看上去,celery和rabbitmq似乎都可以实现我们的异步方案,那么两者之间又有着怎么样的联系呢?

从功能上来看
在这里插入图片描述

从组成上来看
在这里插入图片描述

从使用角度来说
在这里插入图片描述

因此,我们采用celery+rabbitmq代理来实现我们的异步方案

接下来,来看看具体的实现是怎么做的

1、安装celery

pip install -U celery

2、创建celery实例
定义celery包, 创建main.py
在这里插入图片描述
在这里插入图片描述
3、加载celery配置
在这里插入图片描述
在这里插入图片描述
4、定义celery任务
在这里插入图片描述
在这里插入图片描述
5、注册celery任务
在这里插入图片描述
6、启动celery worker服务
在这里插入图片描述

  • 2
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值