关于rabbitmq pika包 reset by peer 的解决方式

写系统的时候要传给另一个模块数据, 直接用了rabbitmq 没用 celery分发, 然后因为对 AMQP 协议不熟在heartbeat 上出了很多问题。

1. heartbeat 不能为 0, 已经设置过,但是可能当时没有内存扩容(这就要说AWS家辣鸡需要自己手动扩容了,否则只有8G存储空间)不知道为什么经常消费者会收不到信息, 怀疑是分配的资源用完了,要么就是丢包自己又不知道,还傻乎乎地等着,又没有 timeout这个让它停下

2. 执行长任务的时候会出问题: 错误:

pika.exceptions.ProbableAccessDeniedError: StreamLostError: (“Stream connection lost: ConnectionResetError(10054, ‘远程主机强迫关闭了一个现有的连接。’, None, 10054, None)”,)

拜托了,这就是heartbeat设置时间太短被rabbitmq服务端断连的问题。

解决方法:

1. 根据经验设置一个好的heartbeat(做不到,对面接收方是爬淘宝京东各大电商数据,还要翻出去搞海外数据,能不被ban就不错了)

2. 耗时消费者多线程: 主线程回复心跳包, 另一个线程做任务, 具体代码:

import pika
import pandas as pd
import json
import os
import time
import threading

credentials = pika.PlainCredentials("tester","123456")
'''--------
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RabbitMQ是一种高效、可靠的消息队列中间件,用于在分布式系统中传递和存储消息。它使用AMQP(高级消息队列协议)作为通信协议,并提供了灵活的消息传递模式,括点对点和发布/订阅模式。Pika是一个用于与RabbitMQ交互的Python库,它提供了简单且易于使用的接口来发送和接收消息。通过Pika,您可以方便地集成RabbitMQ到您的Python应用程序中。 如果您正在使用Flask框架,那么可以使用flask-rabbitmq来简化Python操作RabbitMQ的过程。这个框架与Flask很好地结合,提供了一种简单的方式来与RabbitMQ进行交互。您可以使用pip来安装flask-rabbitmq:$ pip install flask-rabbitmq。一旦安装完成,您就可以开始使用flask-rabbitmq来处理RabbitMQ的消息传递。 另外,您还提到了使用RabbitMQ传递数据给另一个模块,并且没有使用Celery来进行任务分发。RabbitMQ可以作为一种消息传递工具,用于在不同的模块之间传递数据。如果您在使用RabbitMQ时遇到了与AMQP协议相关的问题,可能是因为对该协议不熟悉导致的。在使用RabbitMQ之前,建议您对AMQP协议进行一些了解,以便更好地理解和解决可能出现的问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [flask-rabbitmq:与RabbitMQ pika库结合的简单Python Flask](https://download.csdn.net/download/weixin_42135073/15069667)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [关于rabbitmq pika reset by peer解决方式](https://blog.csdn.net/vancooler/article/details/109001388)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值