一文搞懂 celery 远程调用任务

最新推荐文章于 2023-07-02 15:59:28 发布
最新推荐文章于 2023-07-02 15:59:28 发布
阅读量3.8k 收藏 3
点赞数 3
分类专栏： python 分布式 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/somezz/article/details/82413664
版权
本文详细介绍了如何使用 Celery 实现远程调用任务，通过中间人 RabbitMQ 或 Redis 实现分布式异步任务。步骤包括定义任务队列、确保中间人服务启动、启动 worker 和调用程序。示例中展示了如何在主机 C 上调用主机 A 的 taskA 和主机 B 的 taskB，以及如何通过指定队列实现任务分配。
摘要由CSDN通过智能技术生成

celery 是分布式的异步任务队列，既然是分布式，那么肯定是支持远程调度任务的，那么它是如何实现的呢？

celery 主要是通过中间人来实现远程调度的，中间人 broker 的工具如 RabbitMQ，Redis 服务支持远程访问。

由于官方的示例都是基于本地的任务调用，本文向大家展示如何使用 Celery 调用远程主机上的任务- 在主机 C 上调用主机 A 上的任务 taskA，调用主机 B 上的任务 taskB。

主机C ip地址：192.168.0.107  
主机A ip地址：192.168.0.111   
主机B ip地址：192.168.0.112

基于上一篇文章 分布式异步任务队列神器-Celery 中 myCeleryProj 项目的源码。

开始动手：

第一步：定义任务队列。

修改 settings.py 使任务 taskA 运行在队列 tasks_A 上，任务 taskB 运行在队列 tasks_B 上，中间人均指向主机 C 上的 redis 数据库：redis://192.168.0.107:6379/0，redis 数据库不是必须在主机C上启用，redis 数据库可运行在任意一台主机上，只要确保其允许远程访问即可。完整的settings.py如下所示

from kombu import Queue

CELERY_TIMEZONE='Asia/Shanghai'

CELERY_QUEUES = (  # 定义任务队列
最低0.47元/天 解锁文章
清如許
关注
专栏目录
62 Celery远程调用
Jian Sun_的博客
10-31 348
前述的任务调用均是在本机调用任务，在实际应用中可能有许多任务需要远程调用，如柱苣C商的程序需要调用主机A和主机B上的任务。本节我们来实现在主机C上远程调用主机A和主机B的任务。 其中： （1）主机C的IP地址为 192.168.0.107 （2）主机A的IP地址为192.168.0.111 （3）主机B的IP地址为192.168.0.112 首先修改settings.py，使任务taskA运行在队列tasks_A上，任务taskB运行在队列tasks...
celery远程调用其他服务器上的任务
Tomonkey的专栏
12-14 1921
Celery可以通过send_task调用发起其他服务器上的任务，但是需要连接上同一个broker 前提： 服务器A已经运行了celery的worker以及beat服务，现在服务器B，需要发起A上的任务say_hello 服务器B的关键代码如下： from celery import Celery from ./algo_celery_config import CeleryConfig try: data = {"a": "111", "b": "222"} app = Celery('
Celery 源码解析五： 远程控制管理
weixin_33845477的博客
11-16 178
序列文章： Celery 源码解析一：Worker 启动流程概述 Celery 源码解析二：Worker 的执行引擎 Celery 源码解析三： Task 对象的实现 Celery 源码解析四： 定时任务的实现 Celery 源码解析五： 远程控制管理 Celery 源码解析六：Events 的实现 Celery 源码解析七：W...
Celery-Remote-Methods:使用 Celery 上的实例方法启用完全远程对象
06-26
芹菜远程方法 使用 Celery 上的实例方法启用完全远程对象。 注释一类@RemoteWorker与方法@remote_task ，和被称为其延迟方法时，没有实例状态交换。 仅当使用@RemoteWorker(remote_only=True) ，才会在远程工作者中创建类的实例，但默认情况下，双方都会存在一个实例。 优点：当实例很重时，应该比标准@task(filter=task_method)更轻量级，方法任务可以在内部使用不可pickleable 对象 缺点：实例状态是每个 worker 本地的，代码还没有经过很好的测试 from celery import Celery app = Celery ( 'tasks' , backend = 'amqp' , broker = 'amqp://' ) from remote_work import RemoteWorker ,
使用PyCharm进行远程开发和调试
热门推荐
soman的博客
11-06 6万+
使用PyCharm进行远程开发和调试 你是否经常要在Windows 7或MAC OS X上面开发Python或Web应用程序，但是它们最后需要在linux上面来运行呢？ 我们经常会碰到开发时没有问题但是到了正式的Linux环境下面却出现问题。那么怎样保证开发环境跟运行环境的一致呢？ 通常有两种方法解决。一种是使用PyCharm内置支持的Vagrant，这个教程可以参考Vagra
python基于celery实现异步任务周期任务定时任务
09-18
本文主要介绍了如何利用Python的Celery库来实现异步任务、周期任务和定时任务。Celery是一个基于Python开发的分布式任务队列系统，它支持后台任务的异步处理、周期性任务的调度和定时任务的执行。它使得任务的执行不...
python使用celery实现异步任务执行的例子
09-18
整篇文档的代码示例详细地展示了如何在Django项目中使用Celery来实现异步发送短信的功能，涵盖了从配置Celery到编写任务、再到实际调用异步任务的完整流程。通过这种异步处理方式，可以将耗时的外部任务从主线程中...
python教程：python基于celery实现异步任务周期任务定时任务
01-21
这篇文章主要介绍了python基于celery实现异步任务周期任务定时任务,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 hello, 小伙伴们, 好久不更新了,这一次带来...
Celery 的使用教程
weixin_39386145的博客
07-03 1142
介绍 celery 1.简介 Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统，专注于实时处理的异步任务队列，同时也支持任务调度。 2.引入使用背景 在程序的运行过程中，我们经常会碰到一些耗时耗资源的操作，为了避免它们阻塞主程序的运行，我们经常会采用多线程或异步任务。 比如: 例子 a: 在 Web 开发中，对新用户的注册，我们通常会给他发一封激活邮件，而发邮件是个 IO 阻塞式任务，如果直接把它放到应用当中，就需要等邮件发出去之后才能进行下一步操作，此时用户只能等待再等待。更好的方式是在业
Celery使用方式
Y_warmth
07-20 408
Celery是一个异步的任务队列(也叫做分布式任务队列),一个简单，灵活，可靠的分布式系统，用于处理大量消息，同时为操作提供维护此类系统所需要的工具。 celery的优点 1:简单，容易使用，不需要配置文件 2:高可用，任务执行失败或执行过程中发生连续中断，celery会自动尝试重新执行任务 3:快速，一个单进程的celery每分钟可以处理上百万个任务 4:灵活，几乎celery的各个组件都可以被扩展 celery应用场景 1:异步发邮件，一般发邮件等比较耗时的操作，这个时候需要提交任务给celery就可以
celery的使用
huang_yong_peng的博客
09-09 2410
celery(分布式任务队列) celery是一个基于python开发的分布式异步消息任务队列，通过它可以轻松实现任务的异步处理。 如以下场景就可以使用celery： 你想对100台机器执行一条批量命令，可能会花很长时间 ，但你不想让你的程序等着结果返回，而是给你返回 一个任务ID,你过一段时间只需要拿着这个任务id就可以拿到任务执行结果， 在任务执行ing进行时，你可以继续做其它的事情。...
2019-11-12-celery-remote
Forgive Me
11-12 137
title category layout tags date 如何部署分布式框架Celery到远程机器上 python post python 2019-11-12 16:00:24 最近做了一个抢票软件用于抢票，开发好了之后分布在4台服务器上运行。实际的开发和部署过程...
redis设置远端访问
szj_jojoli的博客
01-05 4892
redis设置远端访问下载安装包并解压编译安装配置远端访问成功验证附加：验证celery是否成功 下载安装包并解压 wget http://download.redis.io/releases/redis-4.0.1.tar.gz tar -zxvf redis-4.0.1.tar.gz 编译安装 cd redis-4.0.1 make make install PREFIX=/usr/loca...
celery的用法详解
最新发布
liulanba的博客
07-02 2709
Celery 是一个开源的分布式任务队列框架，用于在分布式系统中进行异步任务调度和处理。它使用消息代理（如 RabbitMQ、Redis）来实现任务的发布和消费，支持任务的并发执行、定时调度和结果收集。
Celery介绍以及使用
xiaoduu的博客
08-03 5781
文章目录celery一、什么是celery1、celery是什么：2、使用场景3、Celery的优点4、Celery的安装二、Celery执行异步任务1、创建异步任务执行文件（消费者）2、创建生产者文件3、创建result文件去获取任务函数的返回值，从而查看任务执行结果4、多目录结构5、异步任务和定时任务6、多目录结构下celery执行三、Django中使用celery注意点概念介绍总体流程文件对应的代码 celery 转载地址：https://www.cnblogs.com/pyedu/p/1246181
Celery 异步任务队列高级用法 以及 3种调用任务的方法详解
Nick.Peng's Blogs
05-03 8458
Celery对象 核心的对象就是Celery了，初始化方法： class Celery(object): def __init__(self, main=None, loader=None, backend=None, amqp=None, events=None, log=None, control=None, set_...
redis+celery+django设置外网可访问
微电子学与固体电子学-俞驰
03-26 426
cd /etc/redis/ vi redis.conf 修改如下: # bind 127.0.0.1 protected-mode no requirepass appleyuchi 然后命令如下: # redis-cli shutdown redis-server /etc/redis/redis.conf ＃－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－...
Celery 异步调用方法改动记录
qq_42031243的博客
08-05 258
Celery 是一个任务队列， 可以异步处理 在4.0 版本后python使用celery 会出现种种错误， 这时候需要安装 eventlet模块 pip install eventlet 默认是 celery -A task worker --loglevel=info 启动celery 4.0后启动celery： celery -A task worker --loglevel=info -P eventlet 在work 装饰器上也要改动 默认是： import time from celery i
Celery分布式任务队列详解与实战指南
"详解分布式任务队列Celery使用说明，主要介绍了Celery的起步、运行模式、架构，以及如何安装和使用Celery进行简单的任务演示。" Celery是一个广泛使用的分布式任务队列，它允许开发者在不同的服务器之间调度任务，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值