记录一次celery+rabbitmq的bug修复过程

最新推荐文章于 2024-05-09 11:45:00 发布

竹叶苿

最新推荐文章于 2024-05-09 11:45:00 发布

阅读量2.4k

点赞数 2

分类专栏：工作总结文章标签： bug

本文链接：https://blog.csdn.net/goodzyw/article/details/78100535

版权

线上爬虫服务采用Celery+RabbitMQ的任务分发突然故障，日志显示异常，使用Supervisor启动Celery时出现问题。尽管直接运行Celery命令正常，但Supervisor启动后持续报错，且异常不导致worker退出。通过升级Celery并参考GitHub上的解决方案，卸载librabbitmq库后解决了问题。

摘要由CSDN通过智能技术生成

问题现象

线上的爬虫服务使用celery+rabbitmq进行任务分发，之前一直没有出现过问题，不过有一天早上，忽然所有的服务都停了。后台日志显示的问题是，

[2017-09-25 01:10:30,496: ERROR/MainProcess] Process 'Worker-1' pid:5406 exited with 'exitcode 1'
[2017-09-25 01:10:34,

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

竹叶苿

关注关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
记录一次celery+rabbitmq的bug修复过程

celery rabbitmq bug解决
复制链接

扫一扫

专栏目录

ERROR/ForkPoolWorker- Pool process error: TypeError("Required argument 'object' (pos 1) not found",)

月球左边的角落

07-02

8613

问题描述celery的worker端报错：-------------- worker2@zheng-VirtualBox v4.2.0 (windowlicker)---- **** ----- --- * *** * -- Linux-4.15.0-20-generic-x86_64-with-Ubuntu-18.04-bionic 2018-07-02 10:13:33-- * - ****...

使用celery实现订单超时取消

kuokay的博客

03-07

519

Celery官方文档中关于定时任务使用的说明：项目目录结构我们需要新增一个任务目录，例如order： celey_tasks/ ├── config.py ├── __init__.py ├── main.py ├── order/ ├── __init__.py └── tasks.py 在main.py中，注册任务目录【注意，接下来后面我们使用django的模型处理，所以必须对django的配置进行引入】 im

1 条评论您还未登录，请先登录后发表或查看评论

构建Python中的分布式系统Celery与RabbitMQ的结合

最新发布

一键难忘的博客

05-09

3012

Celery：Celery是一个流行的Python分布式任务队列，它可以帮助你将任务异步执行，并且可以轻松地扩展到多台机器上。它支持任务调度、任务结果存储、任务重试等功能，使得处理异步任务变得更加简单。RabbitMQ：RabbitMQ是一个开源的消息代理，它实现了高级消息队列协议（AMQP），可以作为消息的中间件来传递消息。它具有高度可靠性、灵活性和可扩展性，使得不同系统之间的通信变得更加可靠和高效。在本文中，我们深入探讨了如何利用Celery和RabbitMQ构建Python中的分布式系统。

celery：Process ‘ForkPoolWorker-170‘ pid:181 exited with ‘signal 9 (SIGKILL)

我就叫贝塔

11-12

2109

celery在容器运行，总是突然暴毙，查看日志发现如下错误： Process 'ForkPoolWorker-170' pid:181 exited with 'signal 9 (SIGKILL) 解决办法：由于celery在容器里面运行，只分配了了一核，导致的错误，将配置升高核数，问题解决 ...

Java BIO编程

JeremyIverson的博客

09-11

300

1. I/O 模型 1.1. I/O 模型基本说明 I/O 模型简单的理解：就是用什么样的通道进行数据的发送和接收，很大程度上决定了程序通信的性能 Java 共支持 3 种网络编程模型/IO 模式：BIO、NIO、AIO Java BIO ：同步并阻塞(传统阻塞型)，服务器实现模式为一个连接一个线程，即客户端有连接请求时服务器端就需要启动一个线程进行处理，如果这个连接不做任何事情会造成不必要的线程开销【简单示意图】 Java NIO ：同步非阻塞，服务器实现模式为一个线

MainProcess Process ‘ForkPoolWorker-84‘ pid:31087 exited with ‘signal 9 (SIGKILL)‘

weixin_43561029的博客

09-15

1133

flask + celery 原因此报错是因为celery任务超过了 hard_time_limit 时间被celery主进程kill掉了, 应该还能找到此报错: MainProcess Hard time limit (300s) exceeded for (此处设置的hard_time_limit为300s) 解决把soft_time_limit设置少于hard_time_limit, 并进行异常捕获处理即可存在问题查到公司原代码hard_time_limit为300s soft_time

Django+celery+rabbitmq配置文档

01-12

### Django+Celery+RabbitMQ配置文档 #### 一、环境搭建与配置 ##### 1.1 系统环境 - **操作系统**: Ubuntu 14.04 - **开发工具**: PyCharm 5.0 - **虚拟环境**: 使用虚拟环境隔离项目依赖，避免环境冲突。 #####...

celery+ rabbitMq + python window是下配置

04-01

标题 "celery+ rabbitMq + python windows环境配置" 涉及到的是在Windows操作系统上集成使用Celery和RabbitMQ的流程。Celery是一个分布式任务队列，主要用于处理异步任务，而RabbitMQ则是一个开源的消息代理，常被...

celery+ rabbitMq + python linux 下例子 crontab例子

04-06

标题中的“celery+ rabbitMq + python linux 下例子 crontab例子”涉及的是一个在Linux环境下使用Python、Celery以及RabbitMQ构建任务调度系统，并结合crontab进行定时任务设置的示例。接下来，我们将深入探讨这些...

Sqlite3+RabbitMQ+Celery Python从零开始搭建一个生产者消费者服务模型配套安装文件

12-28

本套教程围绕“Sqlite3+RabbitMQ+Celery”搭建一个生产者-消费者服务模型，旨在帮助初学者快速理解和实践这一技术栈。首先，Sqlite3是一个轻量级的关系型数据库，它无需单独的服务器进程，而是以文件形式存储数据...

Process finished with exit code 137 (interrupted by signal 9: SIGKILL)

欢迎来到我的博客～

05-06

1214

Process finished with exit code 137 (interrupted by signal 9: SIGKILL) 原因分析： CPU内存不够，系统自动杀掉任务一般是因为一次性读入，或写出的数据量过大导致的解决方法： batch调小减少一次性读写的数据量 ...

使用xshell连接服务器时，过一会儿总会显示timed out waiting for input: auto-logout

专栏

03-26

9887

使用xshell连接服务器时，过一会儿总会显示timed out waiting for input: auto-logout，这是怎么回事？这是因为设置了“会话空闲超时时退出”的缘故。具体设置如下： vi /etc/profile TMOUT=60 #or the number of seconds you want 将TMOUT的值改成0就好了保存退出后运行下面...

tensorflow 内存不足：Process finished with exit code 137 (interrupted by signal 9: SIGKILL)

热门推荐

初学者的博客

11-13

2万+

tensorflow/stream_executor/cuda/cuda_driver.cc:967] failed to alloc 536870912 bytes on host: CUDA_ER Process finished with exit code 137 (interrupted by signal 9: SIGKILL) 多方搜索，才知出现这个问题是因为内存使用过多...

nginx的error.log日志常见的几个错误解决方法

weixin_34310369的博客

05-03

3059

nginx.conf里会有两个日志，分为access.log 和 error.log。其中这两个日志可以细化，一般来说在nginx目录下会有一个logs会保存,然后也可以在对应的server目录里可以分别的设定access.log和error.log来了解对应server的情况。access.log主要是记录"谁来登陆了，从哪里登陆的，登陆后发生了什么"，具体格式可以在ngi...

Supervisor+Celery+Redis+gevent出现missed hearbeat

Devin Chen的专栏

06-30

2844

一：问题描述：使用Supervisor对celery进程进行管理，broker使用Redis，采用gevent池运行task，celery使用的版本为4.0.2，随机出现missed hearbeat worker，重启进程之后运行正常解决办法： 1.设置心跳包检查间隔和时长，这样可以保证由于系统负载原因导致检测不准，因为检查机制是往队列里发送一条消息，worker可以收到这条消息，如果系

celery定时任务重复提交的BUG

花样多的很的博客

04-10

2743

发现问题用celery设置定时任务，前端传入time，让任务每天定时定点执行，但是结果却出现重复的任务：可以发现4月4号从18点开始，每隔1个小时celery就会received一个定时task，而且该task_id是同一个，一直到晚上22点整，所有定时任务（注意：是同一个定时任务）同时开始运行。 ps：系统居然没被拖垮，不幸中的万幸。问题原因分析 celery在执行定时任务时与celer...

RabbitMQ+Celery

1024

08-05

9455

RabbitMQ+Celery 最近用到RabbitMQ+Celery框架进行开发分布式任务队列，这里进行一下整理总结，菜鸟欢迎批评指正。 RabbitMQ 一些术语官网：http://www.rabbitmq.com/ RabbitMQ是一个开源的AMQP实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、Acti...

关于keeplive

深蓝

04-16

3660

当服务端开启心跳，客户端开启心跳，则当客户端意外断开连接，服务端释放连接，客户端释放连接当服务端关闭心跳，客户端开启心跳，则当客户端意外断开连接，服务端不会知道，资源不会释放。而当客户端再一次向服务端请求连接的时候，服务端才会释放之前的socket linux : socket 配置 int optval; socklen_t optlen = sizeof(o

关于celery连接rabbitMQ错误：ConnectionResetError: [Errno 104] Connection reset by peer

笑笑布丁的博客

11-27

2999

爬虫使用celery从RabbitMQ取数据的时候，会遇到这个错误，关于错误的原因在于：网络不稳定或者连接时间过长.我的原因是在于时间过长，因为爬虫消化需要一定的时间. 下面开始我的填坑之路： 1、在github issue里面，发现有人跟我是同样的错误，遂采用它得到的解决办法： broker_pool_limit = None 结论: 不行. 2 在kombu 包的pidbox文件的rep...

celery+rabbitmq

08-18

Celery是一个Python分布式任务队列库，而RabbitMQ是一个开源的消息中间件。它们可以结合使用来构建可靠的分布式应用程序。 Celery通过将任务发送到消息队列中，实现了任务的异步处理。任务可以由多个工作进程并行地处理，提高了应用程序的性能和可伸缩性。而RabbitMQ作为消息中间件，负责接收和传递这些任务。具体来说，当你使用Celery和RabbitMQ时，你需要配置一个RabbitMQ消息代理服务器，并在Celery中设置相应的配置，如消息队列的地址、用户名、密码等。然后你可以定义你的任务函数，并使用Celery提供的装饰器将其转换为可异步执行的任务。当你调用这些任务时，Celery会将它们发送到RabbitMQ队列中。工作进程会从队列中获取任务并执行，然后将执行结果返回给你。这样就实现了任务的分布式处理。总而言之，Celery和RabbitMQ的结合可以帮助你构建强大的分布式应用程序，提高应用程序的性能和可扩展性。