windows下使用celery，慎入！

最新推荐文章于 2024-07-10 22:39:01 发布
最新推荐文章于 2024-07-10 22:39:01 发布
阅读量4.1k 收藏 21
点赞数 6
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43544193/article/details/118996960
版权

导言：学习Celery的文档

学习的文档是celery的中文文档

然后这个中文文档没整明白，不过我找到了一个更好用的学习文档

在学习以上者两个之前，提前提示，在windows上使用celery各种不爽。celery不是天然的支持windows的，而celery的中间人，redis或者rabbitmq都对windows很不友好，此坑慎入。

一、windows下使用celery

安装rabbitmq有点麻烦，而且会遇到一些奇奇怪怪的问题，所以中间人建议选择redis。

redis的安装，使用菜鸟教程就很方便。，注意要把redis添加到环境变量中去，这样以后启动的时候也比较方便。

redis服务的启动：redis-server，注意用终端打开redis服务以后，不要把这个终端关了，否则redis服务也关闭了。

redis和celery到底是如何交互的

使用过程

在执行任务时，启动的celery服务会有提示：
在这里插入图片描述
但是我并不能获取任务是否执行完成

大坑小坑

  1. 在使用redis的时候，遇到 rdbSave failed in qfork: Permission denied的错误。
  2. windows在celery下会进行任务接收但是不执行
    这是因为windows不支持celery，需要用eventlet支持异步的运行，废物玩意。
    先下载：pip install eventlet
    然后运行celery的使用命令改为：celery -A celery_test worker --loglevel=info -P eventlet -c 10
  3. 坑2解决以后，新的问题出现了。使用eventlet以后，celery 链接redis发生了报错。
    在这里插入图片描述
    网上找了半天原因，最后感谢大哥。
    原来是celery的broker地址不能写localhost，需要写成127.0.0.1，我服了。
  4. 坑3解决以后，程序成功的运行了，但是运行了一段时间以后，redis又又又报错了。
    在这里插入图片描述
    原因：
    由于启动redis使用默认配置，持久化会在当前目录进行。
    启动redis时在root权限目录下启动的，写权限不足，导致持久化时进程失败。
    解决方案：
    1.进入配置文件, 查看持久化文件dump.rdb存放目录
    在这里插入图片描述
    发现windows内的dump.rdb是默认储存在安装redis的目录中的，但是安装redis的目录是没有写入权限的，我安装的地址是C:\Program files\redies，于是我修改了这个文件夹的写入权限（文件-》属性-》安全-》权限编辑），问题得到了解决。
    在这里插入图片描述

如果使用RabbitMQ

以下内容虽然有用，但是还有其他坑，所以windows下尽量放弃RabbitMQ
由于使用的是windows，RabbitMQ需要额外的依赖，官方推荐用choco install rabbitmq下载，但是我的电脑没有安装choco（这是一个软件安装工具，类似于mac的homebrew）

知乎上查询以后，choco在Windows CMD 上的安装命令：@"%SystemRoot%\System32\WindowsPowerShell\v1.0\powershell.exe" -NoProfile -InputFormat None -ExecutionPolicy Bypass -Command "iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1'))" && SET "PATH=%PATH%;%ALLUSERSPROFILE%\chocolatey\bin"
注意使用管理者的方式运行CMD

有位剑仙学量化
关注
  • 6
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
window运行celery报错
日常bug
12-19 587
不用win，可以省掉一大堆奇奇怪怪的win专属问题。
windows下使用celery
ch_atu的博客
08-25 635
安装最新版本的celery： pip install celery #使用协程的方式启动。当然首先你需要安装eventlet。（pip install eventlet） celery -A celery_server worker --loglevel=info -P eventlet 这个命令会开启一个在前台运行的 worker，解释这个命令的意义： worker: 运行 worker 模块。 -A: –app=APP, 指定使用的 Celery 实例。 -l: –loglevel=INFO,
在Windows平台上通过PyCharm调试Celery任务
最新发布
NLP工程化
07-10 378
在分析Dify源码中Celery任务时候，刚开始使用命令行执行，不能够很方便的调试Celery任务中间变量。经过一番尝试终于可以在Windows平台上通过PyCharm来调试Celery任务了。
windows——celery
weixin_30297281的博客
05-09 156
celery 4.0版本以后放弃对Windows的支持 GITHUB_issues(https://github.com/celery/celery/issues/4178) 替代解决方案： 安装：pip install eventlet 运行：celery -A tasks worker --pool=eventlet 使用eventlet替代prefork，使用solo也是可以的。 ...
数据中台系列3：celery 安装与使用 window 篇
domodo2012的博客
07-31 1151
window 中使用 celery，用法层层递进
windows celery
皮皮的博客
08-24 886
https://www.jianshu.com/p/7d60fabe638f https://www.cnblogs.com/forward-wang/p/5970806.html
Windows下Django2.2使用celery4.x出现ValueError
12-20
在Windows环境下，使用Django 2.2集成Celery 4.x版本时，可能会遇到一个特定的问题：`ValueError`。官方文档指出，从Celery 4.x版本开始，由于资源限制，Celery官方不再正式支持Windows操作系统。然而，这并不意味着...
Django中使用Celery的教程详解
09-20
本文将深入探讨如何在Django项目中集成并使用Celery。 首先，理解Django的请求处理流程对于了解Celery的重要性至关重要。当用户发起请求时，请求经过一系列的处理步骤，包括中间件、路由映射、视图函数等，最终返回...
windows环境中利用celery实现简单任务队列过程解析
09-18
首先，我们来解析在Windows环境下使用Celery实现简单任务队列的基本概念和步骤。 一、Celery介绍 Celery是一个用于异步任务队列或工作流的开源任务队列/作业队列库。它由Python编写，基于分布式消息传递。Celery的...
windows版本celery定时任务
08-08
在Windows环境下，使用Celery构建定时任务是一种常见的需求，特别是在分布式系统中，Celery以其强大的异步任务处理和调度能力而被广泛采用。本篇将深入探讨如何在Windows上配置和运行基于Redis作为消息中间件的...
Django中使用Celery的方法示例
12-25
在 《分布式任务队列Celery使用说明》 中介绍了在 Python 中使用 Celery 来实验异步任务和定时任务功能。本文介绍如何在 Django 中使用 Celery。 安装 pip install django-celery 这个命令使用的依赖是 Celery 3.x...
django（windows系统）使用celery框架
weixin_46371752的博客
12-17 1242
1、安装celery：pip install celery ，安装eventlet：pip install eventlet 2、创建celery_task.py模块，写上： from celery import Celery #'redis://密码@ip/库号' broker = 'redis://192.168.137.10/15' backend='redis://192.168.137.10/14'#执行结果放到这里 app = Celery(__name__,broker=...
在Windows下设置分布式队列Celery的心跳轮询
这家伙很懒，什么都没有留下
01-18 1648
通过本文的介绍，您应该对在Windows下设置分布式队列Celery的心跳轮询有了更深入的了解。在实际应用中，根据项目需求和系统资源进行合理的配置和使用，可以有效解决分布式系统中的一些问题。在分布式系统中，心跳轮询是一个重要的机制，用于检测和监控系统中各个节点的状态。通过心跳轮询，Celery可以了解工作节点的运行状态，及时发现和处理异常节点。通过以上测试，您可以验证Celery的心跳轮询功能是否正常工作，并确保您的分布式系统在出现故障时能够自动进行节点恢复和任务重新分发。
windows使用celery报错celery.exceptions.TimeoutError: The operation timed out.
XFIRR的博客
05-05 204
今天研究这个也弄了比较久，最开始是没有往系统这个方向上去想。后来发现在windows上启动的方式和mac和linux这种不一样。
Windows安装并使用Celery
★匆匆★的专栏
08-09 5298
参考：http://www.cnblogs.com/Soar-Pang/p/6524407.htmlhttp://docs.celeryproject.org/en/latest/faq.html#does-celery-support-windowsWindows使用celery只能安装 3.1.25版pip install celery==3.1.25运行celery：python -m ce...
关于windows下django使用celery实现异步调用（RabbitMQ）
你的我的世界
06-19 3125
linux 想要实现轻而易举，但是在windows下我找了诸多办法，总是没办法解决，最终花了一天时间终于搞定。 1：安装pip         先下载get-pip.py,打开链接复制保存           使用：python get-pip.py 安装 2：安装RabbitMQ，celery，django-celery   搜索安装erlang 和 Rab
测试Celery 在Windows中搭建和使用的版本
weixin_30808693的博客
03-09 140
官网：http://docs.celeryproject.org/en/latest/faq.html#does-celery-support-windows 描述如下：表示Celery 4.0版本以上再不支持Window，但是为保证在Window环境中使用提出可以给出补丁。但是目前官方没有补丁消息 为保险起见： 分别在Window环境中测试了Celery版本3.1.25 和Cel...
windows使用flask启动celery报错
01-07
在Windows上使用Flask启动Cel在Windows上使用Flask启动Celery时，可能会遇到一些报错。以下是一些常见的解决方法： ery时，可能会遇到一些报错。以下是一些常见的解决方法： 1. 确保已正确安装Celery和Flask-Celery扩展。可以使用以下命令进行安装： ```shell pip install celery pip install Flask-Celery ```1. 确保已正确安装Celery和Flask-Celery扩展。可以使用以下命令进行安装： ```shell pip install celery pip install Flask-Celery ``` 2. 确保已正确配置Celery。在Flask应用程序的主文件中，需要进行Celery的配置，例如： ```python from flask import Flask from celery import Celery app 2. 确保已正确配置Celery。在Flask应用程序的主文件中，需要进行Celery的配置，例如： ```python = Flask(__name__) from flask import Flask app.config['from celery import CeleryCELERY_B app = FlaskROKER_URL'] = '(__name__) app.config['redis://localhostCELERY_BROKER_URL'] = 'redis://localhost:6379/0' app.config['CELERY:6379_RESULT_BACKEND'] =/0' 'app.configredis://['localhost:637CELERY_RESULT9/0_BACKEND'] =' celery 'redis://localhost:637 = Celery(app.name,9/0 broker=app.config' cel['CELeryERY_BRO = CeleryKER_URL']) (app.name,celery.conf broker=app.update(app.config.config['CELERY_BRO) ```KER_URL']) celery.conf.update(app.config) ``` 3. 确保已正确导入任务函数。在Flask应用程序中，需要导入任务函数并调用`delay()`方法来异步执行任务，例如： ```python from yourapp.tasks import send_password_reset_email @app.route('/reset_password') def reset 3. 确保已正确导入任务函数。在Flask应用程序中，需要导入任务函数并调用`delay()`方法来异步执行任务，例如： ```python _password(): # 调用from yourapp任务函数 .tasks import send send_password_password_reset_email_reset_email.delay(user) @app.route return 'Password('/reset_password') def reset reset email sent_password(): # 调用!' 任务函数 ``` send_password_reset_email.delay(user) return 'Password reset email sent 4. 确保已正确启动Celery worker。在命令行中，使用以下命令启动Celery worker： ```shell celery -A yourapp.tasks worker!' ``` --loglevel=info ``` 4. 确保已正确启动Celery worker。在命令行中，使用以下命令启动Celery worker： ```shell celery -A yourapp.tasks worker --loglevel=info ``` 如果仍然遇到报错，请提供具体的报错信息，以便更好地帮助您解决问题。 如果仍然遇到报错，请提供具体的报错信息，以便更好地帮助您解决问题。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值