celery
笑笑布丁
个人博客:https://madpudding.github.io/
展开
-
Running a worker with superuser privileges when the worker accepts messages serialized with pickle i
在使用docker build celery应用容器时遇到了这个错误:意指:使用root用户启动celery会产生这个问题解决办法:from celery import Celery, platformsplatforms.C_FORCE_ROOT = True app = Celery()加入这个选项即可:platforms.C_FORCE_ROOT = True...原创 2021-01-09 17:31:42 · 1326 阅读 · 3 评论 -
使用HAProxy为rabbitmq实现负载均衡
背景:实际上rabbitmq远没有达到性能瓶颈,但是celery与mq对接总是有些问题,在github找到了解决之道,便试着解决,后续观察效果1、安装haproxysudo apt-get install haproxyvim /etc/haproxy/haproxy.cfg # 这一步是配置haproxy配置项#---------------------------------------------------------------------# Global settings#原创 2020-11-11 11:38:07 · 957 阅读 · 0 评论 -
ModuleNotFoundError: No module named ‘kombu.five‘
原因,今天开了新的机器,pip install 了最新的kombu稳定版本(5.0+,最初没有在requirements.txt指定kombu的版本),出现了这个错误,检查了别的服务器上对应的版本是4.6+,所以回退了版本,之后代码正常运行.pip uninstall kombupip install kombu==4.6.10...原创 2020-09-14 18:23:42 · 2056 阅读 · 0 评论 -
supervisor部署celery实践
原因想用celery执行一些爬虫的后续操作,不占用爬虫爬取的时间.尝试了不同的方法感觉supervisor最靠谱,这也是celery官方推荐的做法.做法:1 安装 supervisorpip install supervisor2 进入项目文件夹,创建 conf 文件cd projectecho_supervisord_conf> supervisord.conf结果如下所...原创 2020-03-02 16:58:52 · 860 阅读 · 4 评论