celery异步任务的实现

Django中通过celery实现异步任务

Django中对于需要耗时较长的操作可能会导致阻塞。为此我们需要引入异步处理机制,即收到客户端请求后立即给予响应,中间具体的逻辑任务交给另一个进程处理。

1、celery是一种分布式异步任务队列。
在这里插入图片描述

  1. 异步任务通常在业务逻辑中被触发并发往消息队列,而定时任务由Celery Beat进程周期性地将任务发往消息队列;
  2. 任务执行单元Worker实时监视消息队列获取队列中的任务执行;
  3. Woker执行完任务后将结果保存在Backend中;

2、使用场景:

web应用:当用户在网站进行某个操作需要很长时间完成时,我们可以将这种操作交给Celery执行,直接返回给用户,等到Celery执行完成以后通知用户,提高网站的并发以及用户的体验感。

主要有:消息中间件broker、任务执行单元worker、结果存储backend

消息中间件是信息通讯(消息)的中间组件,负责消息的存储和管理。

作用

1、异步化提升性能

2、降低耦合度

	对于系统A,发送消息后直接返回结果,不再管系统B后边怎么操作。而系统B故障恢复后重新到MQ中拉取消息,重新执行未完成的操作,这样一个流程,系统之间没有影响,也就实现了解耦。

在这里插入图片描述
3、流量削峰
假如我们的系统A是一个集群,不连接数据库,这个集群本身可以抗下1万QPS
系统B操作的是数据库,这个数据库只能抗下6000QPS(queries-per-second),这就导致无论系统B如何扩容集群,都只能抗下6000QPS,它的瓶颈在于数据库。 假如突然系统QPS达到1万,就会直接导致数据库崩溃,那么引入消息中间件后:
在这里插入图片描述
在这里插入图片描述
对于系统A没有什么影响,给MQ发送消息可以直接发送1万QPS。

此时对于系统B,可以自己控制获取消息的速度,保持在6000QPS以下,以一个数据库能够承受的速度执行操作。这样就可以保证数据库不会被压垮。

当然,这种情况MQ中可能会积压大量消息。但对于MQ来说,是允许消息积压的,等到系统A峰值过去,恢复成1000QPS时,系统B还是在以6000QPS的速度去拉取消息,自然MQ中的消息就慢慢被释放掉了。

任务模块包含定时任务 celery beat 和异步任务async task

celery worker -A cdscp -l debug

各个参数含义:

worker: 代表启动的角色是work

-A :项目路径cdscp

-l:启动的日志级别

启动了worker,还需要通过delay或apply_async来将任务添加到worker中,区别就是后者支持传递更多的参数

默认情况下启动的队列名称为celery

可以设置不同的队列,并且为队列设置优先级。

CELERY_ACKS_LATE = True
CELERYD_PREFETCH_MULTIPLIER = 1
CELERY_QUEUES = (
    Queue("celery", Exchange("celery"), routing_key="celery"),
    Queue("celery_demo", Exchange("celery_demo"), routing_key="celery_demo", queue_arguments={'x-max-priority': 9})
)

在提交任务的时候apply_async设置队列指定为优先级队列celery_demo,并且设置优先级为5

sig.apply_async(queue='celery_demo',priority=5)

优先级解释

在当前我们的队列是空的,也就是在队列非阻塞的情况下,哪个任务先到先提交,哪个任务就先执行任务1。如果这时候队列中还有任务2,任务3。这时候任务2.任务3就要进行排序了,怎么排序呢,就是根据priority设置的数值,谁大谁优先执行。
这种只会在设置了优先级队列的时候才会进行这种排序,不然都是按照任务提交的顺序进行。

3、实例演示:

**加粗样式
celery_task.py

import celery
import time

app = celery.Celery("celery_test",broker='redis://:@127.0.0.1:6379/0',backend='redis://:@127.0.0.1:6379/1')

@app.task
def send_email(param):
    time.sleep(5)
    print '向{}发送邮件'.format(param)
    return "ok"


@app.task
def send_msg(param):
    time.sleep(5)
    print '向{}发送短信'.format(param)
    return "ok"

produce_task.py

from celety_task import send_email, send_msg

result = send_email.delay('王子')
print result.id


result = send_msg.delay('王子')
print result.id

get_result.py

from celery.result import AsyncResult
from celety_task import app

ansyc_result = AsyncResult(id='f07403ed-90e0-42a1-b1bb-a2d75869495b', app=app)

if ansyc_result.successful():
    result = ansyc_result.get()
    print result
elif ansyc_result.failed():
    print "failed"
elif ansyc_result.status == 'pending':
    print 'pending'
elif ansyc_result.status == 'retry':
    print 'retry'
elif ansyc_result.status == 'started':
    print 'started'
celery worker -A celety_task -l info

出现下图,表示worker启动成功
在这里插入图片描述

任务执行成功之后会生成对应的任务id,redis中可以进行查询
在这里插入图片描述
在这里插入图片描述
通过celery的AsyncResult对象获取执行结果
在这里插入图片描述

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
Celery是一个Python的分布式任务队列框架,它可以用来实现异步任务的调度与执行。使用Celery,你可以将耗时的任务放入任务队列中,然后由后台的工作进程异步执行,这样可以提高系统的并发能力和响应速度。 要使用Celery,首先需要安装Celery库。你可以使用pip命令进行安装: ``` pip install celery``` 接下来,你需要创建一个Celery实例,并定义任务函数。任务函数可以是任何可调用对象,通常是一个Python函数。例如,下面是一个简单的示例: ```pythonfrom celery import Celery# 创建Celery实例app = Celery('myapp', broker='redis://localhost:6379/0') # 定义任务函数@app.taskdef add(x, y): return x + y``` 在上面的示例中,我们创建了一个名为`myapp`的Celery实例,并指定了一个Redis作为消息代理(broker)。然后,我们定义了一个名为`add`的任务函数,使用`@app.task`装饰器来将其注册为Celery任务。 接下来,你可以使用`delay()`方法调用任务函数,将任务放入任务队列中异步执行: ```pythonresult = add.delay(4,6) ``` 在上面的示例中,我们使用`delay()`方法调用了`add`任务,并传递了两个参数4和6。这会将任务添加到Celery任务队列中,并返回一个`AsyncResult`对象,你可以使用它来获取任务的执行结果。 当任务被放入任务队列后,你需要启动Celery的工作进程来执行任务。可以使用以下命令启动工作进程: ``` celery -A myapp worker --loglevel=info``` 上面的命令中,`-A`参数指定了Celery实例所在的模块(在这个例子中是`myapp`),`--loglevel=info`参数指定了日志级别为info。 这只是Celery的一些基本用法,还有很多其他功能和配置可以探索。你可以查阅Celery的官方文档来获取更多详细信息:https://docs.celeryproject.org/

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值