RocketMQ的集群模式

最新推荐文章于 2024-05-09 18:21:35 发布
最新推荐文章于 2024-05-09 18:21:35 发布
阅读量426 收藏
点赞数
分类专栏： [RocketMQ]
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Delicious_Life/article/details/105276979
版权

 

错误的集群部署方式

 

 在生产环境中，RocketMQ常被用于集群化部署，但是有一种部署方式却是错误的。即多主无从

如图，有2个主broker。如果2个broker中都已经存储了不同的消息，这时其中一个broker崩了，那么这个broker里面的数据就会丢失，消费者无法从其他的broker中获取所需的数据

 

 

正确的集群部署方式

 

多主多从

这种方式避免了Master损坏导致的数据丢失

 

多主多从的实现有两种方式

  • 异步复制

数据总是先存入到Master，再经过几毫秒的延迟后存入到对应的Slave。这个过程不需要人工干预，性能很高。但这样也存在缺点，Master宕机可能会丢失少量的数据。

  • 同步双写

每次写入数据要么主从都写成功，要么都不写入成功。这样的做法大大减少了异常情况下数据的丢失量，但缺点是性能会比异步复制略低

 

 

我能在河边钓一整天的鱼
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ集群的特点以及各种集群模式的介绍
江晓龙的博客
06-26 1万+
同步模式下的多Master多Slave模式比异步模式效率略低，并且性能也比异步模式消耗要高，因为同步模式Broker收到一条消息，首先会落盘然后同步给Slave，最后再反馈给发送者，而异步模式下，Broker在收到消息的一瞬间就会反馈给发送者消息已收到。同步模式下可以保证消息的可靠性，会保证每一条消息丢失成功进行存储的，而异步模式下，虽然Broker收到消息可以立即反馈，但是数据落盘时如果MQ宕机，发送者已经收到确认的消息的，但是消息其实并没有存储到Broker中，就会导致消息数据存在丢失的现象。
RocketMQ集群部署
wangqingjia的博客
06-22 9543
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
RocketMQ快速实战以及集群架构详解
qq_27740127的博客
10-10 2353
MQ：MessageQueue，消息队列。是在互联网中使用非常广泛的一系列服务中间件。这个词可以分两个部分来看，一是Message：消息。消息是在不同进程之间传递的数据。这些进程可以部署在同一台机器上，也可以分布在不同机器上。二是Queue：队列。队列原意是指一种具有FIFO(先进先出)特性的数据结构，是用来缓存数据的。对于消息中间件产品来说，能不能保证FIFO特性，尚值得考量。但是，所有消息队列都是需要具备存储消息，让消息排队的能力。
2024年最新RocketMQ下载安装、集群搭建保姆级教程_rocketmq保姆级教程，看这篇文章就行了
最新发布
2401_83974607的博客
05-09 1369
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
万字超详细解析：RocketMQ集群环境搭建
wdj_yyds的博客
05-04 2936
通过之前安装单台RocketMQ，并演示了消息的收发，已经基本了解了RocketMQ是怎么样工作的，下面就来搭建一个集群。
深入了解 RocketMQ：高性能消息中间件
weixin_42383680的博客
11-01 1001
RocketMQ主要由Producer、Broker、Consumer三部分组成，其中Producer负责生产消息，Consumer负责消费消息，Broker负责存储消息。Broker在实际部署过程中对应一台服务器，每个Broker可以存储多个Topic的消息，每个Topic的消息也可以分片存储于不同的Broker。MessageQueue用于存储消息的物理地址，每个Topic中的消息地址存储于多个MessageQueue中。ConsumerGroup由多个Consumer实例构成。
RocketMQ集群部署1
08-04
总的来说，RocketMQ集群部署是一项关键任务，它关系到整个分布式系统的信息传递效率和稳定性。正确配置和管理NameServer和BrokerServer，能够帮助我们构建出一个高效、可靠的实时消息处理平台。
kubernetes(k8s)内部署ambry,es,mongodb,mysql,orientdb,rocketmq集群模式的方法
09-10
部署RocketMQ集群，需要创建NameSpace、Topic、Producer和Consumer等资源，使用StatefulSet管理各个角色的Pod，并通过Service定义通信路径。 在实际部署过程中，你可能需要考虑资源限制（如CPU和内存），监控和日志...
基于DLedger构建高可用RocketMQ集群实践.pdf
10-16
在DLedger模式下，RocketMQ集群能够自动切换到备用节点，确保消息队列服务的高可用性。 4. 搭建RocketMQ on Dledger集群： 文档中详细介绍了如何搭建RocketMQ on Dledger集群，包括DLedger的安装、配置和启动等步骤...
rocketmq4.7.1集群安装手册-双主双从，多主多从模式
10-09
rocketmq集群，部署架构选择双主双从，多主多从模式(异步复制) Broker角色，Master提供读写，Slave只支持读，Consumer不用配置，当Master不可用或者繁忙的时候，Consumer会自动切换到Slave节点进行读取。双主双从，...
高可用 RocketMQ 集群搭建.doc
08-24
高可用 RocketMQ 集群搭建 RocketMQ 是一款流行的开源消息队列系统，具有高性能、高可用性和低延迟等特点。为了确保 RocketMQ 集群的高可用性，需要对其进行合理的设计和部署。下面将详细介绍高可用 RocketMQ ...
【RocketMQ】集群的搭建与高可用
热门推荐
morris
07-30 1万+
RocketMQ分布式集群是通过Master和Slave的配合达到高可用性的。Master和Slave的区别在Broker的配置文件中，参数brokerId的值为0表明这个Broker是Master，大于0表明这个Broker是Slave，同时brokerRole参数也会说明这个Broker是Master还是Slave。Master角色的Broker支持读和写，Slave角色的Broker仅支持读，也就是Producer只能和Master角色的Broker连接写入消息；...
RocketMQ（三）—— 集群模式的说明
稷下学员的笔记博客
12-23 1327
集群理论 复制与刷盘策略 复制： 复制策略是Broker的Master与Slave间的数据同步方式。分为同步复制与异步复制： 同步复制：消息写入master后，master会等待slave同步数据成功后才向producer返回成功ACK 异步复制：消息写入master后，master立即向producer返回成功ACK，无需等待slave同步数据成功 异步复制降低系统写入延迟，提高系统吞吐量 刷盘： 刷盘策略指的是broker中消息的落盘方式，即消息发送到broker内存后消息持久化到磁盘
Linux上安装rocketmq
小草的博客
07-14 1733
rocketmq-console是RocketMQ的一个图形化管理控制台工具，提供Broker集群状态查看，Topic管理，Producer、Consumer状态展示，消息查询等常用功能，这个功能在安装好RocketMQ后需要额外单独安装、运行。将rocketmq-all-4.9.2-bin-release.zip上传到/opt/octv/product/pos/rocketmq目录下，并执行解压命令。下载安装包，目前最新稳定版本rocketmq-all-4.9.2-bin-release.zip。...
RocketMQ的各种集群模式的搭建和消息可靠性保证和服务可用性描述
qq_40837310的博客
07-17 1285
RocketMQ集群搭建的特点 NameServer是一个几乎无状态的节点，可直接启动集群部署。节点之间没有任何信息同步，并且集群的NameServer之间都不知道彼此的存在。 Broker部署相对复杂，Broker分为Master和Slaver，一个Master对应多个Slaver，一个Slaver只能对应一个Master，Master和Slaver的对应关系通过指定相同的Broker Name、不同的Broker Id确定，Broker Name相当于集群组名，相同名称Broker表示是同一个集群组。
RocketMQ—（总结）一篇就搞懂 RocketMQ
m0_60721514的博客
09-21 2262
rocketMq 作为低延迟、高并发、高可用、高可靠的分布式消息中间件，其详细知识点非常多，如需深入，建议源码入坑。【这里想说，因为自己也走了很多弯路过来的，所以才下定决心整理，收集过程虽不易，但想到能帮助到一部分自学java 的人，心里也是甜的！有需要的伙伴请点㊦方】↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓。
快速学习-RocketMQ Dledger集群搭建
逍遥云恋
09-20 755
Dledger集群搭建 前言 该文档主要介绍如何部署自动容灾切换的 RocketMQ-on-DLedger Group。 RocketMQ-on-DLedger Group 是指一组相同名称的 Broker，至少需要 3 个节点，通过 Raft 自动选举出一个 Leader，其余节点 作为 Follower，并在 Leader 和 Follower 之间复制数据以保证高可用。 RocketMQ-on-DLedger Group 能自动容灾切换，并保证数据一致。 RocketMQ-on-DLedger Gr
RocketMQ（五）RocketMQ集群架构
m0_54883970的博客
08-02 240
本篇文章主要介绍了RocketMQ的集群架构、四种集群模式、RocketMQ集群的工作流程，以及总结了RocketMQ提供的刷盘策略和主从同步复制的方式，下面一篇文章，我们就实践一下如何搭建多Master多Slave模式-异步复制的RocketMQ集群，实现RocketMQ的高可用。先自我介绍一下，小编13年上师交大毕业，曾经在小公司待过，去过华为OPPO等大厂，18年进入阿里，直到现在。httpshttps。...
rocketmq多主多从异步复制模式集群搭建
zpsimon的博客
04-13 1411
本文目录RocketMQ集群服务集群服务**方案1：多master模式**方案2：多“master-slave”异步复制模式方案3：多“master-slave”同步复制模式（同步双写）方案4：DLedger(多副本)模式（唯一的推荐使用方案）”多主多从异步复制“集群模式部署规划1.搭建nameserver集群2.搭建broker集群搭建1）【node1】搭建master-a2）【node2】搭建a-slave13）【node2】搭建master-b4）【node3】搭建b-slave15）【node3】搭
讲讲 RocketMq 集群
08-27
RocketMQ 集群是由多个 RocketMQ 服务节点组成的，通过集群可以实现消息的高可靠性和水平扩展。 RocketMQ 集群架构中包含两种角色：Namesrv（名称服务）和Broker（消息存储和传递）。 1. Namesrv：Namesrv 是集群...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值