异步任务celery

1.celery介绍

Celery 是一个专注于实时处理和任务调度的分布式任务队列,本身不是任务队列, 是管理分布式任务队列的工具.任务队列采用redis中的list或mq实现,有5个常用组件

---

---

前言

Task
就是任务，有异步任务和定时任务

Beat
定时任务调度器，根据配置定时将任务发送给Broker。

Broker
中间人，接收生产者发来的消息即Task，将任务存入队列。任务的消费者是Worker。

Worker
执行任务的单元，它实时监控消息队列，如果有任务就获取任务并执行它。

Backend
用于存储任务的执行结果。

---

提示：以下是本篇文章正文内容，下面案例可供参考

2.工作原理流程

celery用CELERYBEAT_SCHEDULE实现定时任务。消息失败可以通过self.retry(exc=e,countdown=3,max_retries=5)来设置重试次数和间隔时间。celery默认会开启4个线程来处理任务，参数-c可以开启更多任务线程。执行定时任务时, Celery会通过celerybeat进程来完成。Celerybeat会保持运行, 一旦到了某一定时任务需要执行时, Celerybeat便将其加入到queue中，适用于周期性任务。

二、异步任务

1、创建异步任务

# pip install celery==5.0.0
# pip install eventlet
from celery import Celery
import time

# 定义celery实例，需要的参数，1 实例名  2 任务发布位置  3 结果保存位置
celery_app = Celery('mycelery',
             broker='redis://:123456@127.0.0.1:6379/14',  # 任务存放的地方
             backend='redis://:123456@127.0.0.1:6379/15')  # 结果存放的地方


# @app.task  指定将这个函数的执行交给celery异步执行
# name='celery_test.main.add'  为当前的路径
@celery_app.task(name='celery_test.main.add')
def add(x, y):
    time.sleep(10)
    return x + y

2.读入数据

代码如下（示例）：

data = pd.read_csv(
    'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())

3.使用及celery启动

定时任务 beat 进程启动方式：
   celery -A job.celery_job beat -l info 
   
定时任务 worker 进程启动方式：
   celery -A job.celery_job worker -l info
   
   
windows下启动

定时任务 beat 进程启动方式：
   celery -A job.celery_job beat -l info -P eventlet

定时任务 worker 进程启动方式：
   celery -A job.celery_job worker -l info -P eventlet

4、调用异步任务

在要调用的代码处写

add.delay(10, 10)

在代码中碰到异步任务回直接向下执行

---

总结

python中celery异步任务了解及使用