mq怎么做到消息尽可能不丢失？

最新推荐文章于 2024-07-08 14:58:49 发布
最新推荐文章于 2024-07-08 14:58:49 发布
阅读量187 收藏
点赞数 3
文章标签： java 开发语言 rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sfsdfsfdfsdfsd/article/details/137149309
版权

  • 生产者

    • 消息同步发送

      • Producer向 broker发送消息，阻塞当前线程等待 broker 响应结果

    • 重试机制

      • 当发送消息发生异常的时候重新发送，默认重试3次

  • Broker

    • Broker数据持久化磁盘

      • broker接收到发来的消息同步刷盘，默认异步刷盘

        • 先存到page cache中根据刷盘策略进行刷盘操作

  • 消费者

    • 先消费再确认(手动ack)

      • Consumer先pull消息到本地，消费完成后，才向Broker返回ack

    • 消费重试机制

      • 消费失败后，重新尝试消费

￴941
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
面试官：RocketMQ 如何保证消息不丢失，如何保证消息不被重复消费？
m0_68850571的博客
08-12 385
Kafka 实际上有个 offset 的概念，就是每个消息写进去，都有一个 offset，代表消息的序号，然后 consumer 消费了数据之后，每隔一段时间（定时定期），会把自己消费过的消息的 offset 提交一下，表示“我已经消费过了，下次我要是重启啥的，你就让我继续从上次消费到的 offset 来继续消费吧”。但是凡事总有意外，比如我们之前生产经常遇到的，就是你有时候重启系统，看你怎么重启了，如果碰到点着急的，直接 kill 进程了，再重启。重启之后，少数消息会再次消费一次。...
mq 消息丢失机制解读与处理
03-01
mq 保证消息不丢失 的场景和处理
【MQ】Kafka如何保证消息不丢失
BookSea的博客
05-03 1435
文章目录Producer端保证消息不丢失Consumer端保证消息不丢失Broker端保证消息不丢失总结Producer端Consume端Broker端 没时间的朋友建议直接看总结 Kafka存在丢消息的问题，消息丢失会发生在Broker，Producer和Consumer三种。 Producer端保证消息不丢失 为了提升效率，减少IO，producer在发送数据时可以将多个请求进行合并后发送。被合并的请求发送之前缓存在本地buffer中。 但是，buffer中的数据是危险的。一旦producer被
【面试题】RocketMQ如何保证消息不丢失？
zhaoliubao1的博客
03-31 466
在面试的时候如果你会用消息中间件，那么面试一般都会问到MQ是如何保证消息不丢失的这个问题，所以这个问题对于面试和日常工作都非常之重要，本文主要讲述RocketMQ是如何保证消息不丢失的，但是我们可以举一反三，任何消息中间件都可以从以下几个方面着手去考虑，加油!从图中我们可以看出，同步刷盘策略是一定要写入磁盘成功以后才会返回ACK确认，而异步刷盘则是写入内存以后直接返回ACK确认，同步与异步相比虽然效率低一些，但是避免了因宕机导致消息丢失的风险。OK，这是官方给的同步刷盘和异步刷盘的区别。
MQ 消息丢失、重复、积压问题，如何解决？
m0_71777195的博客
07-28 3995
至此，我们讲解了MQ消息队列的热门问题的解决方案，无论是初中级还是高级研发工程师，本篇文章的内容都是你需要掌握的，你都可以从这几点出发，与面试官进行友好的交流。我来总结一下今天的重点内容。如何确保消息不会丢失？你要知道一条消息从发送到消费的每个阶段，是否存在丢消息，以及如何监控消息是否丢失，最后才是如何解决问题，方案可以基于“MQ的可靠消息投递”的方式。如何保证消息不被重复消费？在进行消息补偿的时候，一定会存在重复消息的情况，那么如何实现消费端的幂等性就这道题的考点。如何处理消息积压问题？...
ActiveMQ学习笔记（十）如何保证消息不丢失？处理重复消息？消息有序性？消息堆积处理？
daiyuenlong110的博客
03-16 1472
什么是消息队列 来看看维基百科怎么说的，顺带学学英语这波不亏： In computer science, message queues and mailboxes are software-engineering components typically used for inter-process communication (IPC), or for inter-thread communication within the same process. They use a queue for mess
MQ如何避免消息重复消费
h295928126的博客
12-25 4015
    消息中间件是分布式系统常用的组件，无论是异步化、解耦、削峰等都有广泛的应用价值。     我们通常会认为，消息中间件是一个可靠的组件——这里所谓的可靠是指，只要我把消息成功投递到了消息中间件，消息就不会丢。     即消息肯定会至少保证消息能被消费者成功消费一次，这是消息中间件最基本的特性之一。     也就是我们常说的“AT LEAST ONCE”，即消息至少会被“成功消费一遍”。 举个例子，一个消息 M 发送到了消息中间件，消息投递到了消费程序 A。A 接受到了消息，然后进行消费。但在消费到一半
消息队列（mq）是什么？
CaseyWei
04-25 208
作者：Java3y 链接：https://www.zhihu.com/question/54152397/answer/657234090 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 一、什么是消息队列？ 消息队列不知道大家看到这个词的时候，会不会觉得它是一个比较高端的技术，反正我是觉得它好像是挺牛逼的。 消息队列，一般我们会简称它为MQ(Message Queue)，嗯，就是很直白的简写。 我们先不管消息(Message)这个词，来看看队列(Queue)。.
如何保证RocketMQ消息不丢失？
m0_64830897的博客
03-25 1686
本文从Producer发送消息、Broker存储消息和Consumer消费消息三个过程，分析如何尽可能的保证RocketMQ消息不丢失。
MQ如何解决消息的顺序&重复两大硬伤？
热门推荐
u011647020的博客
11-02 1万+
分布式消息系统作为实现分布式系统可扩展、可伸缩性的关键组件，需要具有高吞吐量、高可用等特点。而谈到消息系统的设计，就回避不了两个问题： 消息的顺序问题 消息的重复问题 RocketMQ作为阿里开源的一款高性能、高吞吐量的消息中间件，它是怎样来解决这两个问题的？RocketMQ有哪些关键特性？其实现原理是怎样的？ 关键特性及其实现原理 一、顺序消息 消息有序指的是可以按照消...
MQ 消息机制
02-03
**MQ消息机制** 消息队列（Message Queue，简称MQ）是一种在分布式系统中用于解耦组件间通信的技术。它允许应用程序之间通过发送和接收消息来交换数据，而不是直接调用对方的服务。这种异步通信模式提高了系统的可...
mq demo 消息 自写demo
11-30
在IT行业中，消息队列（Message Queue，简称MQ）是一种重要的中间件技术，它主要用于不同系统、服务或应用之间的异步通信。通过消息队列，应用程序可以将消息发送到队列，然后由其他消费者进程从队列中取出并处理，...
JMS 之 Active MQ 的消息传输(详解)
08-30
下面小编就为大家带来一篇JMS 之 Active MQ 的消息传输(详解)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
C# 实现消息的收发IBM WebSphere MQ 消息队列
02-12
在本文中，我们将深入探讨如何使用C#编程语言与IBM WebSphere MQ进行交互，实现消息的发送和接收。IBM WebSphere MQ（前身为MQSeries）是一种企业级的消息中间件，它提供了一种可靠且可扩展的方式，使得应用程序可以...
JVM原理（十一）：JVM虚拟机六种必需对类进行初始化的情况
zuodingquan666的博客
07-03 574
Java虚拟机把描述类的数据从Class文件加载到内存，并对数据进行校验、转换解析和初始化，最终形成可以被虚拟机直接使用的Java类型，这个过程被称作虚拟机的类加载机制。Java天生可以动态扩展的语言特性就是依赖运行期间动态加载和动态链接这个特点实现的。
已解决 javax.xml.transform.TransformerFactoryConfigurationError 异常的正确解决方法，亲测有效！！！
小明的Java问道之路
07-08 872
已解决 javax.xml.transform.TransformerFactoryConfigurationError 异常的正确解决方法，亲测有效！！！
springboot中抽离日志
最新发布
qq_24223159的博客
07-08 240
【代码】springboot中抽离日志。
Java面试题: 什么情况下索引会失效
qq_55630615的博客
07-02 404
通过执行计划EXPLAIN可以判断索引是否失效如果KEY和KEY_LEN为空代表索引失效。
如何保证MQ消息的幂等性？
07-28
要保证MQ消息的幂等性，可以采取以下几种方式： 1. 唯一标识符（Unique Identifier）：为每个消息生成一个唯一标识符，并将其与消息一起发送到MQ。在消费者端，可以使用该标识符来判断消息是否已经被处理过，从而...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值