RocketMQ保证高可用和高性能的几种措施

最新推荐文章于 2024-04-20 15:13:43 发布
最新推荐文章于 2024-04-20 15:13:43 发布
阅读量1.9k 收藏 5
点赞数
文章标签： java 容器 后端 RocketMQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uuqaz/article/details/125065918
版权
RocketMQ通过主从架构实现高可用，Producer通过多组broker分散消息，Consumer自动在主从间切换保证消费。消息存储包括CommitLog、ConsumerQueue和IndexFile。刷盘机制有同步和异步两种，主从复制有同步和异步复制策略。负载均衡在Producer和Consumer层面实现，消息重试和死信队列确保消息不丢失。
摘要由CSDN通过智能技术生成

整体架构

 

rocketmq是通过broker主从机制来实现高可用的。相同broker名称，不同brokerid的机器组成一个broker组，brokerId=0表明这个broker是master，brokerId>0表明这个broker是slave。

消息生产的高可用：创建topic时，把topic的多个message queue创建在多个broker组上。这样当一个broker组的master不可用后，producer仍然可以给其他组的master发送消息。 rocketmq目前还不支持主从切换，需要手动切换

消息消费的高可用：consumer并不能配置从master读还是slave读。当master不可用或者繁忙的时候consumer会被自动切换到从slave读。这样当master出现故障后，consumer仍然可以从slave读，保证了消息消费的高可用

消息存储结构

CommitLog：存储消息的元数据

ConsumerQueue：存储消息在CommitLog的索引

IndexFile：提供了一种通过key或者时间区间来查询消息的方法

刷盘机制

最低0.47元/天 解锁文章
十一技术斩
关注
RocketMQ（18）——高可用配置
Elim的博客
09-16 561
RocketMQ的核心概念中有Name Server和Broker，它们充当服务端，作为客户端生产者和消费者都需要和它们不断的进行交互。如果你的Name Server和Broker只有一台机器，并且挂了，那么与它们交互的这条路就断了。而如果作为客户端的生产者和消费者只有一台，而且挂了，那这个是属于业务问题，且对应的消息已经在Broker持久化了，下次消费者启动后可以继续消费，而且这块通常也会部署为多节点。所以对于RocketMQ的高可用，主要还是Name Server和Broker的高可用。
RocketMQ 的高可用性：主从复制与多副本保证
最新发布
FireFox1997
08-05 653
高可用性（High Availability，HA）指系统在面临硬件故障、软件错误或其他意外情况下，仍能提供连续服务的能力。在消息队列系统中，高可用性尤为重要，因为它直接影响数据的可靠性和服务的持续性。
RocketMQ的高可用和高可靠
a88137的博客
06-06 400
一个好的消息队列必须要满足两个条件，那就是高可靠性和高可用性。
3. RocketMQ的高可用
努力学习
11-27 1322
RocketMQ 的高可用 RocketMQ 中的高可用机制 RocketMQ 分布式集群是通过 Master 和 Slave 的配合达到高可用性的。 Master 和 Slave 的区别：在 Broker 的配置文件中，参数 brokerId 的值为 0 表明这个 Broker 是 Master，大于 0 表明这个 Broker 是 Slave，同时 brokerRole 参数也会说明这个 Broker 是 Master 还是 Slave。 Master 角色的 Broker 支持读和写，Slave 角
RocketMQ：高可用机制
上海一九四三
07-04 561
RocketMQ分布式集群是通过Broker节点的Master和Slave配合达到高可用性的。 Master和Slave的区别：在Broker的配置文件中，参数 brokerId的值为0表明这个Broker是Master，大于0表明这个Broker是 Slave，同时brokerRole参数也会说明这个Broker是Master还是Slave。 Master角色的Broker支持读和写，Slave角色的Broker仅支持读，也就是Producer只能和Master角色的Broker连接写入消息；Consu.
四选一？这-4-种高可用-RocketMQ-集群搭建方案，我推荐最后一种！
Z70czd的博客
04-20 692
在开头跟大家分享的时候我就说，面试我是没有做好准备的，全靠平时的积累，确实有点临时抱佛脚了，以至于我自己还是挺懊恼的。（准备好了或许可以拿个40k，没做准备只有30k+，你们懂那种感觉吗）如何准备面试？1、前期铺垫（技术沉积）程序员面试其实是对于技术的一次摸底考试，你的技术牛逼，那你就是大爷。大厂对于技术的要求主要体现在：基础，原理，深入研究源码，广度，实战五个方面，也只有将原理理论结合实战才能把技术点吃透。
高可用 RocketMQ 集群搭建.doc
08-24
RocketMQ 是一款流行的开源消息队列系统，具有高性能、高可用性和低延迟等特点。为了确保 RocketMQ 集群的高可用性，需要对其进行合理的设计和部署。下面将详细介绍高可用 RocketMQ 集群搭建的主要知识点。 一、...
RocketMQ如何保证高可用性和消息可靠性
高可用性能够保证系统在面临故障或网络异常等情况下仍能正常运行，避免因单点故障导致整个系统不可用。消息可靠性能够保证消息在传递过程中不丢失，并且能够被按照发送顺序正确地消费。 ## 1.3 本文目的和结构 ...
消息中间件 RocketMQ源码解析：高可用
weixin_34161064的博客
05-14 296
2019独角兽企业重金招聘Python工程师标准>>> ...
Centos6下RocketMQ高可用集群部署记录（个人精华版）
08-29
本篇文章详细记录了Centos6下RocketMQ高可用集群部署的完整过程，讲解到位，本人线上实操手册！在此分享，希望能帮助到有用到的朋友。
云原生中间件RocketMQ-核心原理之高可用机制
write less , do more
09-04 8369
Zookeeper为分布式应用程序提供协调服务，Zookeeper的功能很强大，包括自动Master选举，RocketMQ的设计决定了它不需要进行Master选举，用不到这些复杂的功能，只需要一个轻量级的元数据服务器就足够了。中间件对稳定性要求很高，RocketMQ的NameServer只有很少的代码，容易维护，所以不需要再依赖另一个中间件，从而减少整体维护成本。本文内容到此结束了，如有错误❌疑问💬欢迎各位指出。主页共饮一杯无的博客汇总👨‍💻保持热爱，奔赴下一场山海。🏃🏃🏃。
【RocketMQ】8.高可用机制——消息消费高可用，消息发送高可用，消息主从复制
qmqm33的博客
05-17 402
高可用机制 RocketMQ分布式集群是通过Master和Slave的配合达到高可用性 Master和Slave的区别：在Broker的配置文件中，参数brokerId的值为0表明这个Brocker是Master，大于0表明这个Brocker是Slave,同时BrokerRole参数也会说明这个Brocker是Master还是Slave Master角色的Brocker支持读和写，Slave角色的Brocker仅支持读，也即是Producer只能和Master角色的Broker连接写入消息；Consumer
RocketMQ - 高可用设计
yang的博客
05-31 1132
计算机系统的可用性用平均无故障时间来度量，系统的可用性越高，则平均无故障时间越长。
14.RocketMQ之高可用性机制
qq_30635523的博客
06-26 1720
1.2 高可用性机制 RocketMQ分布式集群是通过Master和Slave的配合达到高可用性的。 Master和Slave的区别：在Broker的配置文件中，参数 brokerId的值为0表明这个Broker是Master，大于0表明这个Broker是 Slave，同时brokerRole参数也会说明这个Broker是Master还是Slave。 Master角色的Broker支持读...
RocketMQ教程(三) - 高可用部署
分享知识、分享进步
06-18 4800
目录 (一)基础(二)进阶(三)高可用部署(四)常见问题 正文 这里采用双主双从的配置，选择Linux系统，并假定两台服务器的私有IP分别为192.168.0.1和192.168.0.2。 下载 http://rocketmq.apache.org/dowloading/releases/ 解压 unzip rocketmq-all-4.5.0-bin-release.zip 分...
消息队列 策略_20k+面试题之保证消息队列高可用
weixin_39970994的博客
11-21 93
点击蓝色“IT乾坤”关注我哟加个“星标”，一起成长为什么要保证消息队列的高可用因为消息队列是多个服务之间沟通的桥梁，如果桥梁断了，那么会造成多个系统都出现问题，甚至造成服务直接瘫痪了，现实中确实有这样的例子。某大厂就是因为消息队列挂了直接损失达到几千万。所以我们既然引入了消息队列，那么一定要保证消息队列的高可用性。怎么保证消息队列的高可用这里通过rabbitMQ和kafka为例子来讲解消...
RocketMQ 高可用架构原理
杨宇昌的博客
04-27 1978
RocketMQ 高可用架构 主从同步、故障转移
"Java高级架构面试：消息队列优劣、高可用与设计思路
需要考虑系统的稳定性、可扩展性、高可用性、性能优化等方面，确保系统满足业务需求和技术要求。 以上是关于消息队列的一些常见问题和解决方案，希望能对大家在面试和工作中有所帮助。消息队列是分布式系统中重要的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值