为什么要使用celery，以及broker的选择标准

最新推荐文章于 2022-12-06 19:48:53 发布
最新推荐文章于 2022-12-06 19:48:53 发布
阅读量653 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47073925/article/details/106480646
版权
Celery是一个Python分布式任务队列，适用于延时任务和定时任务。它由broker、workers和backend组成，通过消息队列实现任务调度。在选择broker时，rabbitmq提供了消息消费确认、高可用性和流量控制，适合资源充足且需要全面功能的项目；而redis则更易于使用，适合对返回消息要求不高的简单项目。选择broker应根据项目需求权衡。
摘要由CSDN通过智能技术生成

文章目录

celery是什么？

​ Celery是基于Python开发的一个分布式任务队列框架，支持使用任务队列的方式在分布的机器/进程/线程上执行任务调度

celery的使用场景？

有延时需要网络IO的，并且不关心返回结果的数据。例如：你想对100台机器执行一条批量命令，可能会花很长时间 ，但你不想让你的程序等着结果返回，而是给你返回 一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务执行结果， 在任务执行ing进行时，你可以继续做其它的事情
定时任务（django-crontable）
celery的组成以及原理？
​ 主要由三部分组成：broker（消息队列）、workers（消费者：处理任务）、backend（存储结果）

​ 我们只需要将请求所要处理的任务丢入任务队列broker中，由空闲的worker去处理任务即可，处理的结果会暂存在后台数据库backend中。我们可以在一台机器或多台机器上同时起多个worker进程来实现分布式地并行处理任务

celery的使用？

确定broker（消息队列）
使用django-celery并配置
delay异步调用
使用rabbitmq和redis作为broker的优劣势分别是什么？
服务 redis rabbitmq
可靠消费 没有相应的机制保证消息的消费，当消费者消费失败的时候，消息体丢失，需要手动处理（list&#x

最低0.47元/天 解锁文章
Newborn_0429
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Django中使用Celery的教程详解
09-20
接下来，你需要在`settings.py`中配置Celery，指定消息中间件（如Redis）作为broker，以及结果存储（同样可以是Redis）。这样，Celery就能使用这些配置来发送和接收任务消息。 在Django项目中，每个应用通常都有一...
Celery和borker
Passerby_one的博客
11-09 353
Celery Celery是一个异步任务的调度工具 Celery 是 Distributed Task Queue，分布式任务队列，分布式决定了可以有多个 worker 的存在，队列表示其是异步操作，即存在一个产生任务提出需求的工头，和一群等着被分配工作的码农。 在 Python 中定义 Celery 的时候，我们要引入Broker，中文翻译过来就是“中间人”的意思，在这里 Broker 起到一个中间人的角色。在工头提出任务的时候，把所有的任务放到 Broker 里面，在 Broker 的另外一头，一群码农
任务队列神器：Celery 入门到进阶指南
03-23 1164
1.什么是celery celery是一个简单，灵活、可靠的分布式任务执行框架，可以支持大量任务的并发执行。celery采用典型生产者和消费者模型。生产者提交任务到任务队列，众多消费者从任务队列中取任务执行。 1.1 celery架构 Celery由以下三部分构成：消息中间件(Broker)、任务执行单元Worker、结果存储(Backend) 任务调用提交任务执行请求给Broker队列 如果是异步任务，worker会立即从队列中取出任务并执行，执行结果保存在Backend中
celery broker和backend对接rabbitmq和redis
JackLiu16的博客
11-26 2930
result.ready() 可能一直返回False 把redis重启   127.0.0.1:6379> flushall                          //删除当前数据库中的所有Key flushdb //删除所有数据库中的key flushall (venv3) [root@localhost mcelery]# ls __pycache__  tas...
为什么使用CELERY而不使用线程发送耗时任务
小白学python-就业班课程笔记
12-14 2297
为什么使用CELERY而不使用线程发送耗时任务。 主要是因为并发比较大的时候，线程切换会有开销时间，假如使用线程池会限制并发的数量；同时多线程间的数据共享维护比较麻烦。 而celery是异步任务处理，是分布式的任务队列。它可以让任务的执行同主程序完全脱离，甚至不在同一台主机内。它通过队列来调度任务，不用担心并发量高时系统负载过大。它可以用来处理复杂系统性能问题，却又相当灵活易用。 ...
celery介绍与使用
weixin_52596593的博客
12-06 994
1.celery可以实现异步任务来提高项目的并发量，完成延迟任务、定时任务2.celery是一个简单、灵活、可靠的分布式系统，用于处理大量消息，同时为操作提供维护此类系统所需的工具1.消息中间件：broker 提交的任务（函数）都放到这里，celery本身不提供中间件，需要借助于第三方：redis,rabbitmq2.任务执行单元：worker，真正执行任务的地方，一个个进程，执行函数3.结果存储：backend,函数return的结果存储在这里，celery本身不提供结果存储，借助于第三方：redis，数
django celery redis使用具体实践
12-31
环境准备 python3.5.4 windows redis pip install celery pip install redis windows下启动redirs server ...BROKER_URL = 'redis://127.0.0.1:6379/0' # celery结果返回，可用于跟踪结果 CELERY_RESULT_
tornado+celery的简单使用详解
12-23
celery是实现一个简单，灵活可靠的分布式任务队列系统的好选择 tornado则不用过多介绍 在开发机上安装rabbitmq这里就不介绍了 首先是task文件的编写 task.py #coding=utf-8 from celery import Celery from celery....
使用celery执行Django串行异步任务的方法步骤
09-19
首先，我们要安装Celery和其依赖的Redis。Redis是一个内存数据结构存储系统，通常用作Celery的消息中间件。在Windows上，可以从Microsoft Archive的GitHub仓库下载`.msi`安装文件，安装后Redis会自动作为服务运行。...
Django异步任务之Celery的基本使用
09-19
接着，创建一个名为`celery.py`的文件，这个文件会定义Celery应用并设置配置。确保Celery能找到Django的设置，并自动发现任务： ```python from __future__ import absolute_import import os from celery import ...
Python-flower一个对Celery集群进行实时监控和提供web管理界面的工具
08-10
flower：一个对 Celery 集群进行实时监控和提供 web 管理界面的工具
Celery优点和使用
lizhenqi123456的博客
08-14 436
Celery的使用和优点
celery配置使用
kk123a的专栏
07-06 2万+
一. celery 简介 Celery 是一个专注于实时处理和任务调度的分布式任务队列, 同时提供操作和维护分布式系统所需的工具.. 所谓任务就是消息, 消息中的有效载荷中包含要执行任务需要的全部数据. Celery 是一个分布式队列的管理工具, 可以用 Celery 提供的接口快速实现并管理一个分布式的任务队列. Celery 本身不是任务队列, 是管理分布式任务队列的工具.
分布式队列神器 Celery
weixin_34008784的博客
01-05 989
Celery 是什么? Celery 是一个由 Python 编写的简单、灵活、可靠的用来处理大量信息的分布式系统,它同时提供操作和维护分布式系统所需的工具。 Celery 专注于实时任务处理，支持任务调度。 说白了，它是一个分布式队列的管理工具，我们可以用 Celery 提供的接口快速实现并管理一个分布式的任务队列。 1.快速入门 (本...
关于django celery配置的backend
yuanchao99的专栏
05-18 5027
在django中经常使用celery完成异步任务。之前一直是在每个django应用服务器上启动一个redis服务，一直没有问题。 随着应用服务器数量增多，希望在一台机器上假设一个redis服务，所有的django服务器公用这个redis服务。 假设在redis_server_host主机上架设好了redis服务，端口6379 vim ${dango_project_settings_dir}
Python 学习 ---＞ 并行、分布式 框架 Celery
热门推荐
freeking101的博客
07-13 5万+
Celery是一个异步任务的调度工具，也可以叫做 "分布式任务队列(Distributed Task Queue)"。
celery 使用经验总结
ronon77的专栏
10-26 669
         为什么要使用celery Celery是一个使用Python开发的分布式任务调度模块，因此对于大量使用Python构建的系统，可以说是无缝衔接，使用起来很方便。Celery专注于实时处理任务，同时也支持任务的定时调度。因此适合实时异步任务定时任务等调度场景。Celery需要依靠RabbitMQ等作为消息代理，同时也支持Redis甚至是Mysql，Mongo等，当然，官方...
Celery 使用介绍
是什么让你停止不前？
11-09 1600
Celery 使用介绍 Celery 简单来说就是一个分布式消息队列。简单、灵活且可靠，能够处理大量消息，它是一个专注于实时处理的任务队列，同时也支持异步任务调度。Celery 不仅可以单机运行，也能够同时在多台机器上运行，甚至可以跨数据中心。 Celery 中比较关键的概念： worker: worker 是一个独立的进程，任务执行单元，它持续监视队列中是否有需要处理的任务； broker: ...
celery使用自定义broker
最新发布
07-27
Celery使用自定义broker的方法是通过在配置文件中指定自定义broker的相关信息。首先，您需要确保已经安装了Celery的依赖库，可以使用pip命令进行安装。然后，在配置文件中添加自定义broker的配置信息，包括broker的类型、地址、端口等。接下来，您可以使用Celery提供的API来创建自定义broker的连接，并将其作为参数传递给Celery的实例化对象。这样，Celery就会使用您自定义的broker来进行消息的传递和处理。 引用\[1\]中提到了Celery的自定义消息消费者的实践方法，可以通过继承Task类来自定义消息消费者。您可以根据自己的需求，实现自定义的消息消费逻辑，并在任务中调用相应的方法来处理消息。此外，引用\[2\]中提到了如果使用Redis作为中间人（Broker），需要安装Celery的依赖库，并在安装时指定redis选项。最后，引用\[3\]中提到了使用django-celery来配置delay异步调用，并且对比了使用rabbitmq和redis作为broker的优劣势。 综上所述，要使用自定义broker，您需要在配置文件中指定自定义broker的相关信息，并使用Celery提供的API来创建自定义broker的连接。同时，您可以根据需要继承Task类来自定义消息消费者，并使用相应的方法来处理消息。 #### 引用[.reference_title] - *1* [Celery 自定义消费器](https://blog.csdn.net/abbyinfo/article/details/120966731)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [celery中间件：broker](https://blog.csdn.net/weixin_44799217/article/details/111880904)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [为什么要使用celery，以及broker的选择标准](https://blog.csdn.net/weixin_45572139/article/details/106469805)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值