RabbitMQ不定时宕机，求解

已于 2022-03-26 16:21:41 修改
阅读量3.2k 收藏 2
点赞数
分类专栏： 日常 文章标签： rabbitmq 运维 服务器
于 2022-03-26 16:19:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44235608/article/details/123757674
版权

1. MQ突然与2022年03月26日 23点34分 宕机，宕机时候的服务器CUP和内存平均在30%左右，很稳定，无异常跳跃性波动。并且MQ的内存设置为0.66（上一次宕机是因为内存不够故服务器升配）距离上次宕机间隔16天，本次报错信息如下，请各位专业人士解惑：

日志摘要：

日志：operation none caused a connection exception connection_forced: "broker forced connection closure with reason 'shutdown'"

日志详情：

=ERROR REPORT==== 25-Mar-2022::23:23:19 ===
Error on AMQP connection <0.29011.539> (1x2.1x.xxx.1xx:xxxx -> 1x2.1x.1xx.1xx:5672, vhost: 'vhost_name', user: 'user_name', state: running), channel 0:
operation none caused a connection exception connection_forced: "broker forced connection closure with reason 'shutdown'"

=ERROR REPORT==== 25-Mar-2022::23:23:19 ===
** Generic server <0.2395.0> terminating
** Last message in was {notify_down,<0.2392.0>}
** When Server state == {q,
                         {amqqueue,
                          {resource,<<"data_platform">>,queue,
                           <<"celeryev.053b719a-1148-4cfb-85c2-27a3d22bbf5e">>},
                          false,true,none,
                          [{<<"x-expires">>,signedint,60000},
                           {<<"x-message-ttl">>,signedint,5000}],
                          <0.2395.0>,[],[],[],undefined,[],[],live,0},
                         none,true,rabbit_priority_queue,
                         {passthrough,rabbit_variable_queue,
                          {vqstate,
                           {0,{[],[]}},
                           {0,{[],[]}},
                           {delta,undefined,0,undefined},
                           {0,{[],[]}},
                           {0,{[],[]}},
                           0,
                           {0,nil},
                           {0,nil},
                           {0,nil},
                           {qistate,
                            "/var/lib/rabbitmq/mnesia/rabbit@iz2zei0q7nfqv5n4isz6zuz/queues/BHEAUBUPLVAT7WTE0EEMS0EZO",
                            {{dict,0,16,16,8,80,48,
                              {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],
                               []},
                              {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],
                                []}}},
                             []},
                            undefined,0,32768,
                            #Fun<rabbit_variable_queue.2.112251677>,
                            #Fun<rabbit_variable_queue.3.112251677>,
                            {0,nil},
                            {0,nil},
                            [],[]},
                           {undefined,
                            {client_msstate,msg_store_transient,
                             <<246,118,24,234,3,186,51,234,188,81,74,10,75,33,
                               179,38>>,
                             {dict,0,16,16,8,80,48,
                              {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],
                               []},
                              {{[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],
                                []}}},
                             {state,241739,
                              "/var/lib/rabbitmq/mnesia/rabbit@iz2zei0q7nfqv5n4isz6zuz/msg_store_transient"},
                             rabbit_msg_store_ets_index,
                             "/var/lib/rabbitmq/mnesia/rabbit@iz2zei0q7nfqv5n4isz6zuz/msg_store_transient",
                             <0.239.0>,245836,237642,249933,254030,
                             {2000,500}}},
                           false,0,4096,0,0,0,0,0,infinity,0,0,0,0,0,0,
                           {rates,0.0,0.0,0.0,0.0,1648221795373304},
                           {0,nil},
                           {0,nil},
                           {0,nil},
                           {0,nil},
                           0,0,0,0,2048,default,0}},
                         {state,{queue,[],[],0},{active,1646448627112084,1.0}},
                         60000,undefined,
                         {erlang,#Ref<0.0.1105.183758>},
                         undefined,
                         {state,fine,5000,#Ref<0.0.1105.183759>},
                         {0,nil},
                         5000,undefined,undefined,
                         {state,
                          {dict,26,16,16,8,80,48,
                           {[],[],[],[],[],[],[],[],[],[],[],[],[],[],[],[]},
                           {{[[<0.2893.0>|#Ref<0.0.0.17023>],
                              [<0.16066.438>|#Ref<0.0.893.22650>]],
                             [[<0.2647.0>|#Ref<0.0.0.15454>],
                              [<0.1627.0>|#Ref<0.0.0.17868>]],
                             [[<0.2792.0>|#Ref<0.0.0.16732>]],
                             [[<0.1549.0>|#Ref<0.0.0.17761>],
                              [<0.2004.0>|#Ref<0.0.0.18290>],
                              [<0.2370.0>|#Ref<0.0.0.19033>]],
                             [],
                             [[<0.1647.0>|#Ref<0.0.0.17919>],
                              [<0.32279.538>|#Ref<0.0.1093.46752>]],
                             [],
                             [[<0.2868.0>|#Ref<0.0.0.17013>],
                              [<0.1386.0>|#Ref<0.0.0.17568>]],
                             [[<0.1419.0>|#Ref<0.0.0.17642>]],
                             [[<0.2783.0>|#Ref<0.0.0.16279>]],
                             [[<0.2839.0>|#Ref<0.0.0.16577>],
                              [<0.1780.0>|#Ref<0.0.0.18043>],
                              [<0.2258.0>|#Ref<0.0.0.18947>]],
                             [[<0.2490.0>|#Ref<0.0.0.14543>],
                              [<0.15814.438>|#Ref<0.0.893.10798>],
                              [<0.24388.536>|#Ref<0.0.1088.196715>]],
                             [[<0.2610.0>|#Ref<0.0.0.15217>],
                              [<0.7447.544>|#Ref<0.0.1103.206534>]],
                             [[<0.1998.0>|#Ref<0.0.0.18190>]],
                             [[<0.1050.0>|#Ref<0.0.0.17483>]],
                             [[<0.15905.438>|#Ref<0.0.893.17924>],
                              [<0.7187.544>|#Ref<0.0.1103.198940>]]}}},
                          delegate},
                         undefined,undefined,undefined,undefined,1,0,running}
** Reason for termination ==
** {{badmatch,{error,not_found}},
    [{rabbit_amqqueue_process,i,2,
                              [{file,"src/rabbit_amqqueue_process.erl"},
                               {line,905}]},
     {rabbit_amqqueue_process,'-infos/2-lc$^0/1-0-',2,
                              [{file,"src/rabbit_amqqueue_process.erl"},
                               {line,860}]},
     {rabbit_amqqueue_process,'-infos/2-lc$^0/1-0-',2,
                              [{file,"src/rabbit_amqqueue_process.erl"},
                               {line,860}]},
     {rabbit_amqqueue_process,emit_stats,2,
                              [{file,"src/rabbit_amqqueue_process.erl"},
                               {line,941}]},
     {rabbit_event,if_enabled,3,[{file,"src/rabbit_event.erl"},{line,137}]},
     {rabbit_amqqueue_process,'-terminate_delete/3-fun-1-',6,
                              [{file,"src/rabbit_amqqueue_process.erl"},
                               {line,285}]},
     {rabbit_amqqueue_process,terminate_shutdown,2,
                              [{file,"src/rabbit_amqqueue_process.erl"},
                               {line,309}]},
     {gen_server2,terminate,3,[{file,"src/gen_server2.erl"},{line,1129}]}]}
** In 'terminate' callback with reason ==
** normal

..............中间日志省略...........

=ERROR REPORT==== 25-Mar-2022::23:23:21 ===
** Generic server <0.2425.0> terminating
** Last message in was pre_hibernate
** When Server state == {q,
                         {amqqueue,
                          {resource,<<"vhost_name">>,queue,
                           <<"push_xx_xx_logs">>},
                          true,false,none,[],<0.2425.0>,[],[],[],undefined,[],
                          [],live,0},
                         none,true,rabbit_priority_queue,
                         {passthrough,rabbit_variable_queue,
                          {vqstate,
                           {0,{[],[]}},
                           {0,{[],[]}},
                           {delta,undefined,0,undefined},
                           {0,{[],[]}},
                           {70,
                            {[{msg_status,2186,
                               <<216,182,76,90,1,4,232,93,176,7,175,203,157,

.......

rabbit_framing_amqp_0_9_1,
                                 [<<"[[\"JlpayApi\", \"2101159520220325224001454861\"], {}, {\"callbacks\": null, \"errbacks\": null, \"chain\": null, \"chord\": null}]">>]},
                                <<216,182,76,90,1,4,232,93,176,7,175,203,157,
                                  253,40,45>>,
                                true},
                               true,true,false,true,queue_index,
                               {message_properties,undefined,false,119}},
                              {msg_status,2185,
                               <<59,23,220,237,133,77,202,251,2,82,246,53,214,
                                 224,251,171>>,
                               {basic_message,
                                {resource,<<"data_platform">>,exchange,<<>>},
                                [<<"push_merchant_vip_logs">>],
                                {content,60,
                                 {'P_basic',<<"application/json">>,
                                  <<"utf-8">>,
                                  [{<<"lang">>,longstr,<<"py">>},
                                   {<<"task">>,longstr,
                                    <<"application.celery_task.push_merchant_vip_log.push_merchant_vip_log">>},
                                   {<<"id">>,longstr,
                                    <<"73a1746e-941a-4cbc-a560-d8545b534dec">>},
                                   {<<"shadow">>,void,undefined},
                                   {<<"eta">>,longstr,
                                    <<"2022-03-26T00:29:59.494265+08:00">>},
                                   {<<"expires">>,void,undefined},
                                   {<<"group">>,void,undefined},
                                   {<<"retries">>,signedint,0},
                                   {<<"timelimit">>,array,[{'...'},{'...'}]},
                                   {<<"root_id">>,longstr,
                                    <<"315a9a8f-ccc2-4fcd-b6b1-8f78167d66b5">>},
                                   {<<"parent_id">>,longstr,
                                    <<"315a9a8f-ccc2-4fcd-b6b1-8f78167d66b5">>},
                                   {<<"argsrepr">>,longstr,
                                    <<"('JlpayApi', '2101159520220325210419453921')">>},
                                   {<<"kwargsrepr">>,longstr,<<"{}">>},
                                   {<<"origin">>,longstr,
                                    <<"gen29609@CrawlDataPlatform">>},
                                   {<<"sentry-trace">>,longstr,
                                    <<"00-86df403e536c4212bde7feb14ebb940c-923b5c0779ee67f2-00">>}],
                                  2,undefined,
                                  <<"73a1746e-941a-4cbc-a560-d8545b534dec">>,
                                  <<"b7635ffc-4356-3115-a505-3189802cc924">>,
                                  undefined,undefined,undefined,undefined,
                                  undefined,undefined,undefined},

这条日志长度在500行+

想请问MQ的大佬们，这种是情况问题会出现在哪里？给我定位的方向和大佬们的解决方案......

xiaojunsongs
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RabbitMQ之集群故障恢复
qq_43654581的博客
11-24 4225
RabbitMQ之集群故障恢复
rabbitmq 宕机
Henry_Wu001的专栏
06-12 2314
refs: 1)https://www.rabbitmq.com/ttl.html 2）https://stackoverflow.com/questions/51850003/rabbitmqmasstransit-how-to-cancel-queued-message-from-processing 晨起，发现rabbitmq管理网页打不开，大惊，登录发现服务果然挂了。重启之。查...
真实生产环境rabbitMQ故障引发血案，复盘问题发生原因以及问题解决方法
qq_38140936的博客
05-06 710
这样会使QOS无法生效。在使用手动ack的时候，需要非常注意消息签收，业务代码使用try-catch-finally处理结构，防止业务代码异常时无法签收。规范约束mq客户端代码，正确的使用Rabbitmq配置。不同业务项目设置不同的vhost可以隔离一些影响，提升rabbitmq资源使用。考虑设置。
记一次RabbitMQ宕机历程
weixin_44235608的博客
03-05 2930
【问题出现】 早晨开始接到人员反·馈，服务异常，开始进行排查，发现服务确实已经异常。 【定位问题】 突然接到消息反馈服务异常，然后开始定位问题，发现MQ服务宕机了。 然后开始查看ECS服务(内存)监控 发现在0点30分左右服务器的内存飙升至80%，然后开始思考为什么服务器内存才80%MQ就宕机了？经过手册了解到原来MQ为了防止自己内存无限扩大导致服务器宕机，而选择让自己服务器停止，这个不了解MQ的实属是一个大坑。尤其是刚开始业务量非常小，后期业务量大起来以后，这个需要格外留意...
rabbitmq取消自动重连_.net/c# RabbitMQ 连接断开处理-断线重连（转载）
weixin_31269713的博客
12-23 984
Rabbitmq 官方给的NET consumer示例代码如下，但使用过程，会遇到connection断开的问题，一旦断开，这个代码就会报错，就会导致消费者或者生产者挂掉。下图是生产者发送消息，我手动停止了rabbitmq，然后又重新启动了rabbitmq，大概等启动成功以后，为了防止服务没有完全启动，我又等待了10秒钟服务完全启动成功以后，我尝试重新发送一些消息，报错，如下：**********...
rabbitmq链接超时_rabbitMQ自动断开问题解决
weixin_39852276的博客
12-20 3628
背景负责的自定义查询系统，使用了rabbitMQ，来实现异步查询。即web端查询，先提交到消息队列，同时发起轮询请求拉取查询结果；多进程消费者从消息队列中取消息，触发查询引擎查询；查询引擎响应后，产出文件到服务端；此时web端轮询请求，获取到响应，完成本次查询。问题系统运行过程中，性能很差，偶发卡顿现象；需要人为干预，杀死查询process才能保证系统正常。定位过程(1)以为是系统用户，看到不出结...
如何保证RabbitMQ的消息不丢失及其背后的原理
热门推荐
qbian的博客
04-16 1万+
一、消息为什么丢失RabbitMQ默认情况下的交换机和队列以及消息是非持久化的，也就是说在服务器重启或者宕机恢复后，之前创建的交换机和队列都将不复存在，之前未消费的消息也就消失不见了。原因在于每个队列和交换机的durable属性。该属性默认情况是false，它决定了RabbitMQ是否需要在崩溃或者重启之后重新创建队列（或者交换机）。二、持久化交换机和队列将交换机和队列的durable属性设置为tr
Rabbitmq~对Vhost的配置
weixin_33754913的博客
11-17 369
 rabbitmq里有一些概念我们要清楚，如vhost,channel,exchange,queue等，而前段时间在部署rabbitmq环境时启用了虚拟主机vhost，感觉他主要是起到了消息隔离的作用,下面分别再说一下它们的知识。 VHost vhost去做第一层的区分，虚拟主机，工作组等，它默认是/ 添加自己项目的Vhost 添加成功后，在列表里可以显示 添加建立一个用户，设置...
RabbitMQ虚拟主机无法启动的原因和解决方案
weixin_45626288的博客
06-13 3132
RabbitMQ是一个广泛使用的开源消息代理系统，但在使用过程中可能会遇到虚拟主机无法启动的问题。本文将探讨可能导致该问题的原因，并提供相应的解决方案，以帮助读者解决RabbitMQ虚拟主机启动失败的困扰。在RabbitMQ中，虚拟主机（Virtual Host）是一种逻辑分区，用于隔离和管理不同的消息队列和交换机。虚拟主机的启动失败可能是由多种原因引起的，下面是一些常见的原因及相应的解决方案：错误的配置文件：虚拟主机的配置文件可能存在错误，比如缺少必要的参数或者参数设置不正确。
RabbitMQ 删除重新创建vhost,但总是Stopped的解决方法
fwdwqdwq的博客
04-22 2135
RabbitMQ 删除重新创建vhost,但总是Stopped的解决方法. 进入vhosts页面 可以看到这里的state是stopped 点击name,进入子页面 如果此时state为 stopped, 会有 running 按钮. 点击按钮后报错: 找到上图圈住的路径,删除vhosts文件夹下的 随机字符串 文件夹,再次重新启动即可. ...
基于RabbitMQ的远程主机管理系统
最新发布
05-26
【作品名称】：基于RabbitMQ的远程主机管理系统 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】： 能需求： 基于...
docker-compose部署单机rabbitmq
04-25
docker-compose部署单机rabbitmq，一键启动
RabbitMQ Server3.13.0
04-02
3. **Dead Letter Exchanges**: 当消息无法路由或者队列满时，可以配置死信交换机来处理这些消息。 4. **TTL与Message Durability**: 可以设置消息存活时间（TTL）和消息或队列的持久化，以确保消息不会因服务器...
RabbitMQ 单机和集群搭建手册
11-30
RabbitMQ 单机和集群搭建手册，适合生产环境
flink-sql集成rabbitmq
06-29
标题中的“flink-sql集成rabbitmq”指的是将Apache Flink的数据流处理能力与RabbitMQ消息队列系统相结合，实现数据的实时处理和传输。Flink是一个开源的流处理框架，提供低延迟、高吞吐量的数据处理，而RabbitMQ是一...
operation basic.ack caused a channel exception precondition_failed: unknown delivery tag 1
lp1302190871的博客
01-16 686
operation basic.ack caused a channel exception precondition_failed: unknown delivery tag 1 channel error; protocol method: #method(reply-code=406, reply-text=PRECONDITION_FAILED - unknown delivery tag 1, class-id=60, method-id=80)
{badmatch,{error,nested_transaction}}
SummerGao
06-12 116
The error message you provided, "{badmatch, {error, nested_transaction}}," suggests that there is an issue related to nested transactions in the code you're working ...
Consumer Acknowledgements and Publisher Confirms
Ybt_c_index的博客
12-03 527
(Consumer) Delivery Acknowlegements 当Rabbit MQ向consumer发送message时，它需要知道何时可以认定message已成功发送。在AMQP 0-9-1中，使用basic.consume方法注册一个consumer，或通过basic.get按需获取message。 Delivery Identifiers: Delivery Tags 当一个con...
rabbitmq接口异常函数方法_rabbitmq坑点与异常处理
weixin_39801465的博客
12-24 612
一、None of the specified endpoints were reachable这个异常在创建连接时抛出(CreateConnection())，原因一般是ConnectionFactory参数设置不对，比如HostName、UserName、Password标准设置：var factory = new ConnectionFactory();factory.UserName = ...
rabbitmq时不时宕机
10-10
关于 RabbitMQ 经常宕机的问题，可能有多种原因导致。以下是一些常见的原因和解决方法： 1. 硬件问题：如果你使用的服务器硬件不稳定或者资源不足，可能导致 RabbitMQ 宕机。解决方法包括升级硬件、增加内存、优化网络连接等。 2. 配置问题：RabbitMQ 的配置可能存在问题，比如连接数过多、内存限制过低等。可以通过调整配置文件来解决这些问题。 3. 网络问题：网络连接可能不稳定或者存在故障，导致 RabbitMQ 宕机。在这种情况下，可以检查网络设备、防火墙设置等，确保网络畅通。 4. 资源耗尽：如果 RabbitMQ 消息队列的消费速度远大于生产速度，可能会导致系统资源耗尽，最终宕机。可以通过增加消费者或者优化消费者的处理逻辑来缓解这个问题。 5. 错误处理：如果你的应用程序在处理消息时存在错误，并且没有合理地处理这些错误，可能会导致 RabbitMQ 宕机。确保应用程序能够正确地处理异常情况，避免宕机。 6. 日志和监控：监控 RabbitMQ 的运行状态和日志可以帮助你发现潜在的问题，并及时采取措施。确保你有足够的监控工具和日志记录来排查问题。 请注意，以上只是一些常见的原因和解决方法，具体情况需要根据你的实际环境和应用程序进行分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值