Celery 与RabbitMQ

本文介绍了Celery作为分布式任务队列的工作原理,包括任务模块Task、消息中间件Broker(如RabbitMQ)、任务执行单元Worker以及任务结果存储Backend。同时,讲解了RabbitMQ的基本概念、安装与配置,以及如何结合Celery运行worker执行任务。
摘要由CSDN通过智能技术生成

Celery 与RabbitMQ

Celery 是 Distributed Task Queue,分布式任务队列,分布式决定了可以有多个 worker 的存在,队列列表示其是异步操作,即存在一个产生任务提出需求的工头,和一群等着被分配工作的码农。
在 Python 中定义 Celery 的时候,我们要引入 Broker,中文翻译过来就是“中间人”的意思,在这里 Broker 起到一个中间人的角色。在工头提出任务的时候,把所有的任务放到 Broker 里面,在 Broker 的另外一头,一群码农等着取出一个个任务准备着手做。
什么是backend?
通常程序发送的消息,发完就完了,可能都不知道对方设么时候接受了。为此,celery实现了了⼀一个backend,用于存储这些消息以及celery执行的一些消息和结果。

这里写图片描述

这里写图片描述

Celery 主要包含以下几个模块:

任务模块 Task

包含异步任务和定时任务。其中,异步任务通常在业务逻辑中被触发并发往任务队列,而定时任务由Celery Beat 进程周期性地将任务发往任务队列。

消息中间件 Broker

Broker,即为任务调度队列,接收任务⽣产者发来的消息(即任务),将任务存⼊队列。

要使用 Celery 连接 RabbitMQ,需要进行以下步骤: 1. 安装 CeleryRabbitMQ 在命令行中运行以下命令以安装 CeleryRabbitMQ: ``` pip install celery sudo apt-get install rabbitmq-server ``` 2. 创建 Celery 应用 创建一个 Python 文件,例如 `celery_app.py`,并添加以下内容: ```python from celery import Celery app = Celery('celery_app', broker='amqp://guest@localhost//', backend='rpc://', include=['tasks']) ``` 这将创建一个名为 `celery_app` 的 Celery 应用,并将其连接到本地运行的 RabbitMQ 代理。还将使用 RPC 后端来存储任务结果,以便可以查询任务状态。 3. 创建任务 在同一目录下创建一个名为 `tasks.py` 的文件,并添加以下内容: ```python from celery import shared_task @shared_task def add(x, y): return x + y ``` 这将创建一个名为 `add` 的任务,它将接受两个参数并返回它们的和。 4. 启动 Celery 工作器 在命令行中运行以下命令以启动 Celery 工作器: ``` celery -A celery_app worker -l info ``` 这将启动一个 Celery 工作器,并将其连接到 RabbitMQ 代理。工作器将等待接收任务并在后台执行它们。 5. 触发任务 在 Python 中使用以下代码触发任务: ```python from celery_app import add result = add.delay(2, 3) print(result.get()) ``` 这将异步触发 `add` 任务,并打印其结果。 以上就是连接 CeleryRabbitMQ 的基本步骤。要了解更多关于 CeleryRabbitMQ 的信息,请参阅官方文档。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值