rabbitmq导致丢失数据---线上问题

已于 2024-05-28 09:35:28 修改
阅读量2.9w 收藏 16
点赞数 5
分类专栏： 亿级流量分布式系统实战 BAT大厂面试必问系列 消息中间件技术探秘 文章标签： rabbitmq java
于 2021-01-26 10:44:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44302240/article/details/113175134
版权
本文讨论了RabbitMQ中数据丢失可能发生的三个环节：生产者、MQ本身和消费者，并提供了相应的解决策略。包括使用confirm模式确保生产者发送、开启RabbitMQ持久化保证消息存储、以及消费者端采用手动ack确保消息处理。
摘要由CSDN通过智能技术生成

rabbitmq导致丢失数据—线上问题

数据的丢失问题，可能出现在生产者、MQ、消费者中，咱们从 RabbitMQ来分析一下吧。
在这里插入图片描述

生产者弄丢了数据

生产者将数据发送到 RabbitMQ 的时候，可能数据就在半路给搞丢了，因为网络问题啥的，都有可能。

此时可以选择用 RabbitMQ 提供的事务功能，就是生产者发送数据之前开启 RabbitMQ 事务 channel.txSelect ，然后发送消息，如果消息没有成功被 RabbitMQ 接收到，那么生产者会收到异常报错，此时就可以回滚事务 channel.txRollback ，然后重试发送消息；如果收到了消息，那么可以提交事务 channel.txCommit 。

// 开启事务
channel.txSelect
try {<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
码上代码
关注
专栏目录
订阅专栏
MQ几百万数据没有消费怎么办---实战教你解决
码上代码的博客
01-27 2万+
领导说马上给解决方案 其实本质针对的场景，都是说，可能你的消费端出了问题，不消费了；或者消费的速度极其慢。接着就坑爹了，可能你的消息队列集群的磁盘都快写满了，都没人消费，这个时候怎么办？或者是这整个就积压了几个小时，你这个时候怎么办？或者是你积压的时间太长了，导致比如 RabbitMQ 设置了消息过期时间后就没了怎么办？ 所以就这事儿，其实线上挺常见的，一般不出，一出就是大 case。一般常见于，举个例子，消费端每次消费之后要写 mysql，结果 mysql 挂了，消费端 hang 那儿了，不动了；或者是消
RabbitMQ解决数据丢失
weixin_37895026的博客
08-30 567
生产者丢失数据（confirm模式） 如果要确保说写 RabbitMQ 的消息别丢，可以开启 confirm 模式，在生产者那里设置开启 confirm 模式之后，每次写的消息都会分配一个唯一的 id，然后如果写入了 RabbitMQ 中，RabbitMQ 会回传一个 ack 消息，说明这个消息 ok 了。如果 RabbitMQ 没能处理这个消息，会回调一个 nack 接口，说明这个消息接收失败，生产者可以重试。而且可以结合这个机制自己在内存里维护每个消息 id 的状态，如果超过一定时间还没接收到这个消息
RabbitMQ常见问题
qq_41851726的博客
09-09 223
1、什么是 rabbitmq 采用 AMQP 高级消息队列协议的一种消息队列技术,最大的特点就是消费并不需 要确保提供方存在,实现了服务之间的高度解耦 2、为什么要使用 rabbitmq 在分布式系统下具备异步,削峰,负载均衡等一系列高级功能; 拥有持久化的机制，进程消息，队列中的信息也可以保存下来。 实现消费者和生产者之间的解耦。 对于高并发场景下，利用消息队列可以使得同步访问变为串行访问达到一定量 的限流，利于数据库的操作。 可以使用消息队列达到异步下单的效果，排队...
RabbitMQ数据丢失问题以及解决方案
最新发布
2301_81522768的博客
07-04 330
使用手动应答机制，当开启手动应答开启后，如果消费者服务端消费消息失败，给rabbitMQ返回一个nack信息，同时将消息恢复为待消费状态，消息会重新入队，等待消费端消费。：因为使用默认的自动应答机制，会导致消费者在接收到消息后返回给rabbitMQ一个ack信息，消息队列接收到ack信息后，会在队列中删除消息。：如果使用了默认的自动应答机制，当消费者服务器堆积了大量的未消费的数据的时候，可能会造成消费者服务器宕机，导致消息没有被成功消费。：当RabbitMQ宕机时，队列和队列中的数据都会丢失。
mq 数据丢失
u010674004的博客
11-26 708
以rabbitmq为例 1）生产者弄丢了数据 生产者将数据发送到rabbitmq的时候，可能数据就在半路给搞丢了，因为网络啥的问题，都有可能。 此时可以选择用rabbitmq提供的事务功能，就是生产者发送数据之前开启rabbitmq事务（channel.txSelect），然后发送消息，如果消息没有成功被rabbitmq接收到，那么生产者会收到异常报错，此时就可以回滚事务（channel.txRollback），然后重试发送消息；如果收到了消息，那么可以提交事务（channel.txCommit）。.
rabbitmq（四）、消息丢失问题
weixin_30432579的博客
05-30 206
丢失消息的三种情况：生产者弄丢了数据、RabbitMQ 弄丢了数据、消费端弄丢了数据。 一、生产者弄丢了数据 生产者将数据发送到 RabbitMQ 的时候，可能数据就在半路给搞丢了，因为网络问题啥的，都有可能。 方法一： 　　此时可以选择用 RabbitMQ 提供的事务功能，就是生产者发送数据之前开启 RabbitMQ 事务channel.txSelect，然后发送消息，如果消息没有...
【攻克RabbitMQ】常见问题
好学若饥，谦卑若愚
08-22 6221
消息什么情况下会丢失？配合mandatory参数或备份交换器来提高程序的健壮性 发送消息的交换器并没有绑定任何队列，消息将会丢失 交换器绑定了某个队列，但是发送消息时的路由键无法与现存的队列匹配 预估队列的使用情况？ 在后期运行过程中超过预定的阈值，可以根据实际情况对当前集群进行扩容或者将相应的队列迁移到其他集群。 消费消息？ 推模式，拉模式 保证消息的可靠性？ RabbitMQ......
Day19_RabbitMQ
weixin_45014721的博客
08-25 176
RabbitMQ是一款开源的消息中间件，可以用它来：应用解耦、异步提速、削峰填谷。1.应用解耦2.异步提速3.削峰填谷在非cluster模式下，元数据主要分为Queue元数据（queue名字和属性 等）、Exchange元数据（exchange名字、类型和属性等）、Binding元数据 （存放路由关系的查找表）、Vhost元数据（vhost范围内针对前三者的名字空 间约束和安全属性设置）。在cluster模式下，还包括cluster中node位置信息和node关系信息。
RabbitMQ
weixin_38380811的博客
03-13 2403
RabbitMQ
【面试宝典】Java八股文之RabbitMQ面试题
热爱技术，享受生活
11-28 494
【面试宝典】Java八股文之RabbitMQ面试题
RabbitMQ——常见问题（笔记）
weixin_46949627的博客
09-01 2580
rabbitMQ常见问题处理
RabbitMQ问题记录
出发之前永远是梦想，上路之后永远是挑战。
04-13 120
RabbitMQ遭遇断电，Docker故障崩溃等原因，重新启动集群时节点不加入集群 重新join集群 RabbitMQ集群节点升级，Mnesia数据存储位置在哪，配置文件在何处 新建配置文件 rabbitmq-env.conf、rabbitmq.conf 添加之后配置文件错误导致3 Docker中对RabbitMQ修改配置文件导致容器无法启动 关于日志文件较大 https://www.rabbitmq.com/logging.html rotate_logs Instructs the Rabb.
使用RabbitMQ常见问题
qq_35529931的博客
10-23 1099
基于MQ的事件驱动机制，给庞大的互联网应用带来了不一样的方向。MQ的异步、解耦、削峰三大功能特点在很多业务场景下都能带来极大的性能提升，在日常工作过程中，应该尝试总结这些设计的思想。
MQ消息丢失的可能原因与解决方案
果酱 の 博客
07-28 6547
当我们使用消息队列（MQ）作为分布式系统中的核心组件时，消息丢失是一个常见的问题。消息丢失可能导致数据不一致或功能故障，因此对于许多应用程序来说是不可接受的。本文将介绍几种常见的MQ消息丢失的原因，并提供相应的解决方案。
RabbitMQ 22道问题全解析
yygr的博客
03-30 469
https://www.it610.com/article/1304052351459430400.htm 前言 来分享一下面试必备的RabbitMQ问题解析！用XMind画了一张导图记录RabbitMQ的学习笔记和一些面试解析（源文件对部分节点有详细备注和参考资料，已经完善更新）： 1、上千万条消息在mq中积压了几个小时还没解决： 先修复consumer的问题，确保其恢复消费速度，然后将现有consumer都停掉； 新建⼀个topic，partition是原来的10倍，临时建⽴好原先
MQ消息队列数据丢失问题
Mr.xing的博客
01-20 4386
数据的丢失问题可能出现在生产者、MQ服务器、消费者中，以RabbitMQ和Kafka为例来分析一下。 RabbitMQ 生产者弄丢了数据 生产者将数据发送到RabbitMQ的时候，可能数据就在半路给搞丢了，因为网络问题等都有可能。可以用RabbitMQ提供的事务功能，生产者发送数据之前开启RabbitMQ事务channel.txSelect()，然后发送消息，如果消息没有成功被RabbitMQ接收到，生产者会收到异常报错，此时就可以回滚事务channel.txRollback()，然后重试发送消息
rabbitmq --list-vhost
06-06
这个命令用于列出 RabbitMQ 中所有的虚拟主机。虚拟主机是 RabbitMQ 的一个重要概念，它可以帮助我们在一个 RabbitMQ 服务器中运行多个独立的消息代理。使用该命令需要先安装 RabbitMQ，并且在命令行中运行 `rabbitmqctl` 命令。具体使用方法如下： 1. 打开终端或命令行窗口。 2. 进入 RabbitMQ 的安装目录。 3. 运行命令 `rabbitmqctl list_vhosts`。 4. 将会显示所有虚拟主机的名称。 注意，需要先启动 RabbitMQ 服务器才能运行该命令。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码上代码

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值