RabbitMQ数据丢失和顺序不一致问题

于 2022-04-14 22:43:56 发布
阅读量1.2k 收藏
点赞数
分类专栏： rabbitmq 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CX_5830795/article/details/124183322
版权

目录

produce

rabbitmq

consumer

        produce数据丢失问题

                发送消息的时候设置成confirm模式（设置为异步发送）发送后设置一个监听器监听，等待rabbitmq，进行回调通知，根据回调通知来设置是否重新发送

rabbitMq数据丢失

        rabbitmq数据丢失问题

                  设置持久化，创建queue时候持久元数据，rabbitmq 设置异步刷盘为同步刷盘（特殊情况还是有一部分数据丢失，rabbitMQ在收到message时候断电的情况下.......）

        cousumer数据丢失问题

            调整ack机制把autoAck设置为手动，确保自已业务完成后再向rabbitma返回确认ack，若rabbitmq没有接受到ack过来超时时间则会给其他消费者去消费

                

             

       

CX_5830795
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
消息队列原理
weixin_45939616的博客
11-16 2137
熟悉MQ原理，方便MQ选型
资源rabbitMQ.zip
01-13
RabbitMQ支持集群和镜像队列，以提高可用性和数据一致性。通过集群，多台服务器可以共享队列，当一台服务器故障时，其他服务器可以接管。镜像队列则可以确保即使主节点宕机，队列中的消息也不会丢失。 总的来说，...
RabbitMQ可能出现的数据顺序不对的场景
搓搓那年时光静好
03-07 491
问题: 一个queue，多个consumer消费并行; 解决办法: rabbitmq：拆分多个queue，每个queue一个consumer，就是多一些queue而已，确实是麻烦点；或者就一个queue但是对应一个consumer，然后这个consumer内部用内存队列做排队，然后分发给底层不同的worker来处理 ...
rabbitmq接收数据的问题
muchforest的专栏
02-05 1456
如果发送数据时，没有相应的队列去接收，则该数据直接丢弃，创建队列时如果已存在，则返回之前创建的，其绑定关系也会加载进来。
消息中间件RabbitMQ的数据一致性问题 -- 转载
有一颗前端心的后端开发小哥
04-01 763
消息中间件RabbitMQ的数据一致性问题 -- 转载 本篇博文为转载，❥(^_-) 。 转载连接如下：https://baijiahao.baidu.com/s?id=1683528889345165191&wfr=spider&for=pc 我们还是以线上购物为例： 很熟悉的网购下单页面 - 1、订单服务，需要创建订单 2、库存服务，需要扣减库存 3、支付服务，需要完成支付 4、积分服务，需要生成积分 … … 针对这笔订单，对于用户来说只有上述服务中的所有功能全部执行成功，下单才算是
Rabbitmq如何保证消息顺序执行
在每次的突破中遇见更好的自己
10-11 7426
1.为什么要保证顺序 消息队列中的若干消息如果是对同一个数据进行操作，这些操作具有前后的关系，必须要按前后的顺序执行，否则就会造成数据异常。举例： 比如通过mysql binlog进行两个数据库的数据同步，由于对数据库的数据操作是具有顺序性的，如果操作顺序搞反，就会造成不可估量的错误。比如数据库对一条数据依次进行了 插入->更新->删除操作，这个顺序必须是这样，如果在同步过程中，消息的顺序变成了 删除->插入->更新，那么原本应该被删除的数据，就没有被删除，造成数据的不一致问题。
RabbitMQ基础.pptx
01-10
如果不同系统处理消息的结果不一致，可能导致数据混乱，需要设计策略来确保数据的一致性。 **RabbitMQ介绍** RabbitMQ是一款广泛使用的开源消息队列系统，基于Erlang语言开发，支持多种协议，如AMQP、XMPP、SMTP和...
RabbitMQ面试专题及答案1
08-03
为了确保消息不丢失，可以启用消息和队列的持久化，RabbitMQ 在消息写入磁盘后才确认，服务器重启后能恢复未消费的消息。 使用 RabbitMQ 带来的益处包括： 1. **服务解耦**：增强系统的灵活性和可扩展性。 2. **高...
RabbitMQ、RocketMQ、Kafka、ActiveMQ消息中间件常见的面试题目
02-03
但是问题是，要是 BCD 三个系统那里，BD 两个系统写库成功了，结果 C 系统写库失败了，你这数据就不一致了。 RabbitMQ 的 queue 中存放的 message 是否有数量限制？默认情况下一般是无限制，因为限制取决于机器的...
RabbitMQ 45 道面试题及答案.docx
07-07
3. 如果 RabbitMQ 发生内部错误导致消息丢失，会发送一条 nack 不确认消息。 4. 发送方确认模式是异步的，生产者应用程序在等待确认的同时，可以继续发送消息。 如何确保消息接收方消费了消息 1. 消费者接收每一条...
谈谈RabbitMQ
早就戒了的博客
12-06 6574
消息通信常见的web服务之间的通信机制有两种 ，同步和异步。 同步方法有RMI、Hessin、Burlap、HTTP invoker，虽然同步通信比较简单，但是存在如下问题：服务需要等待，耦合度高！而异步通信就不存在这些问题，它无需等待，web服务只要将消息发送后就可以马上继续执行；对象对象和解耦；位置独立，消息发起者只需要知道 消息服务器的位置就可以发送消息，消息接收也无需知道发起者的具体位置，
从rabbitmq到rocketmq
oatlmy
02-15 2064
对比学习 rocketmq 的结构、集群架构以及消费者组和重平衡
解决RabbitMQ数据丢失
gushenne的博客
07-07 823
1）生产者弄丢了数据 生产者将数据发送到rabbitmq的时候，可能数据就在半路给搞丢了，因为网络啥的问题，都有可能。 解决： RabbitMQ提供transaction和confirm模式来确保生产者不丢消息。transaction机制就是说，发送消息前 开启事物(channel.txSelect())，然后发送消息，如果发送过程中出现什么异常， 事物就会回滚(channel.txRollback())，如果发送成功则提交事物(channel.txCommit())。然而缺点就是吞吐量下降了。 因此，生产
深入消息中间件选型分析
weixin_34402408的博客
04-04 1353
前言 消息队列中间件（简称消息中间件）是指利用高效可靠的消息传递机制进行与平台无关的数据交流，并基于数据通信来进行分布式系统的集成。通过提供消息传递和消息排队模型，它可以在分布式环境下提供应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步等等功能，其作为分布式系统架构中的一个重要组件，有着举足轻重的地位。 目前开源的消息中间件可谓...
rabbitMQ消息丢失、重复消费解决方案
m0_37712622的博客
03-02 1036
消息丢失 生产者端丢失 ① RabbitMQ 事务机制（同步） ② 开启 confirm 模式（异步效率高） 设置开启 confirm 模式之后，你每次写的消息都会分配一个唯一的 id，然后如果写入了 RabbitMQ 中，RabbitMQ 会给你回传一个 ack 消息，告诉你说这个消息 ok 了。如果 RabbitMQ 没能处理这个消息，会回调你的一个 nack 接口，告诉你这个消息接收失败，你可以重试。而且你可以结合这个机制自己在内存里维护每个消息 id 的状态，如果超过一定时间还没接收到这个消息的回
RabbitMQ高阶/网络分区/消息追踪/负载均衡
这是一个记录学习的博客
04-18 1386
RabbitMQ高阶 RabbitMQ实现原理 存储机制 持久化的消息到达时就写入磁盘，如果可以在内存中也会保存一份备份，以提高一定性能 非持久化消息到达时在内存中，当内存吃紧时，会被换入磁盘 消息包括消息体、属性和headers $RABBITMQ_HOME/var/lib/mnesia/rabbit@$HOSTNAME/文件夹下的queues、msg_store_persistent...
rabbitmq散装知识
zxqjava的博客
11-27 306
概念 rabbitmq是消息中间件，是基于erlang语言创建的，改语言本身就支持并发 采用AMQP高级消息队列协议，最大的特点就是消费不需要确保提供方存在，实现了服务间的高度解耦 如何确保数据不丢失 数据丢失可能发生在三个地方 - 发送时数据丢失，可能是由于网络等原因 解决方法： 1. 同步。采用事务管理，开启事务，在消息发送的时候，如果mq没有接收到消息则抛出异常，本地捕获异常并重试 channel.txSelect 开启事务 channel.txCommit 提交事务 cha
RabbitMQ实战——异步处理
qq_41519304的博客
09-23 9695
rabbitmq一个典型的使用场景就是异步处理 场景说明：用户注册后，向用户发注册邮件和注册短信。 我们在进行以上场景开发时，通常会使用两种方式实现。 串行的方式 在没有mq中间件之前，我们通常使用这种方式实现，实现起来很容易，比如先将用户信息插入数据库，然后发送成功注册的邮件、短信。以上三个任务完成后才会给用户响应，但我们应该都知道，对于邮件、短信，对于系统核心业务来说这都不是必须马上发送的，这样的实现方式无非会增加系统的响应时间，甚至给用户带来不好的体验。可以认为就是一个线程在串行执行三个任务。
RabbitMQ消息丢失解决方案
qq_36669747的博客
07-04 4537
最近项目中用到RabbitMQ，用到消息中间件，消息丢失，消息重复消息是必须需要面对和解决的。 因为项目需要动态创建交换机，队列。在条件未知的情况下，无法使用SpringCloudStream。 通过参考文档，博客，采用了RabbitTemplate，RabbitAdmin 提供的方法进行配置。 首先我们要明确，如果才能确保消息的可靠： 1.交换机，队列和消息都要持久化 2.消息失...
rocketmaq rabbitmq和kafka区别
最新发布
07-12
RocketMQ、RabbitMQ和Kafka都是流行的分布式消息中间件，用于在分布式系统中实现可靠的消息传递。它们之间的区别如下： 1. 发展历史：RocketMQ是由阿里巴巴开发的，RabbitMQ是基于AMQP协议开发的，Kafka是由LinkedIn开发的。 2. 数据传递方式：RocketMQ和RabbitMQ都采用点对点的消息传递方式，即消息发送者将消息发送到指定的队列，然后消息接收者从队列中获取消息；而Kafka采用发布-订阅模式，消息发送者将消息发布到主题（Topic），然后多个消息接收者订阅该主题并接收消息。 3. 消息顺序性：RocketMQ和RabbitMQ都能保证消息的顺序性，即按照发送顺序进行消费；而Kafka只能保证分区内的消息顺序性，无法保证整个主题的全局顺序。 4. 可靠性：RocketMQ和Kafka都具有较高的可靠性，支持消息持久化、副本机制和故障恢复；RabbitMQ则更加注重数据的一致性和可靠性，通过事务、持久化、ack确认等机制来确保消息不丢失。 5. 吞吐量和延迟：Kafka在吞吐量和延迟方面表现出色，适合处理大规模的数据流；RocketMQ和RabbitMQ吞吐量较低，但延迟较小，适合对延迟要求较高的场景。 总体来说，RocketMQ适用于高吞吐、高可靠性和严格顺序的场景；RabbitMQ适用于强调数据一致性和可靠性的场景；Kafka适用于大规模数据流处理和日志收集场景。选择合适的消息中间件取决于具体的需求和场景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值