rocketMQ集群

最新推荐文章于 2024-05-09 16:34:39 发布
最新推荐文章于 2024-05-09 16:34:39 发布
阅读量332 收藏
点赞数
文章标签： rocketMQ集群 rocketMQ主从
^_^ ^_^ ^_^
本文链接：https://blog.csdn.net/Michael_lcf/article/details/106599558
版权

RocketMQ的前身是Metaq

  1. 能够保证严格的消息顺序
  2. 提供丰富的消息拉取模式
  3. 高效的订阅者水平扩展能力
  4. 实时的消息订阅机制
  5. 支持事务消息
  6. 亿级消息堆积能力

1单节点rocketMQ安装
1.1 在hosts文件中配置地址与IP映射关系

[root@localhost rocketmq4.4.0]# vim /etc/hosts
192.168.100.100 rocketmq-nameserver1
192.168.100.100 rocketmq-master1

1.2 将解压文件放到 /opt 目录下

[root@localhost opt]# pwd
/opt
[root@localhost opt]# unzip rocketmq-all-4.4.0-bin-release.zip 
[root@localhost opt]# mv rocketmq-all-4.4.0-bin-release rocketmq4.4.0

创建rocketMQ存储文件的目录：

logs：存储rocketMQ日志的目录
store：存储rocketMQ数据文件的目录
commitlog：存储rocketMQ消息信息
consumequeue、index：存储消息的索引数据

[root@localhost rocketmq4.4.0]# mkdir logs
[root@localhost rocketmq4.4.0]# mkdir store
[root@localhost rocketmq4.4.0]# cd store/
[root@localhost store]# mkdir commitlog consumequeue index

conf目录配置文件说明

2m-2s-async  ：2主2从异步
2m-2s-sync	 ：2主2从同步
2m-noslave	 ：2主无从

先配置单节点，修改2m-2s-async的配置实现：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口：

  • nameserver 默认使用 9876 端口
  • master 默认使用 10911 端口
  • slave 默认使用11011 端口

刷盘机制

RocketMQ的消息是存储到磁盘上的，这样既能保证断电后恢复， 又可以让存储的消息量超出内存的限制。RocketMQ为了提高性能，会尽可能地保证磁盘的顺序写。消息在通过Producer写入RocketMQ的时 候，有两种写磁盘方式，分布式同步刷盘和异步刷盘。

在这里插入图片描述

1）同步刷盘

在返回写成功状态时，消息已经被写入磁盘。具体流程是，消息写入内存的PAGECACHE后，立刻通知刷盘线程刷盘， 然后等待刷盘完成，刷盘线程执行完成后唤醒等待的线程，返回消息写 成功的状态。

2）异步刷盘

在返回写成功状态时，消息可能只是被写入了内存的PAGECACHE，写操作的返回快，吞吐量大；当内存里的消息量积累到一定程度时，统一触发写磁盘动作，快速写入。

3）配置

同步刷盘还是异步刷盘，都是通过Broker配置文件里的flushDiskType 参数设置的，这个参数被配置成SYNC_FLUSH、ASYNC_FLUSH中的 一个。

集群工作流程

  1. 启动NameServer，NameServer起来后监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。
  2. Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关系。
  3. 收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic。
  4. Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息。
  5. Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。
1）单Master模式

这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。

2）多Master模式

一个集群无Slave，全是Master，如2个Master或者3个Master，这种模式的优缺点如下：

  • 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
  • 缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。
3）多Master多Slave模式（异步）

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

  • 优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；
  • 缺点：Master宕机，磁盘损坏情况下会丢失少量消息。
4）多Master多Slave模式（同步）

每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的优缺点如下：

  • 优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；
  • 缺点：性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。
Michael_lcf
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RocketMQ集群的特点以及各种集群模式的介绍
江晓龙的博客
06-26 1万+
同步模式下的多Master多Slave模式比异步模式效率略低，并且性能也比异步模式消耗要高，因为同步模式Broker收到一条消息，首先会落盘然后同步给Slave，最后再反馈给发送者，而异步模式下，Broker在收到消息的一瞬间就会反馈给发送者消息已收到。同步模式下可以保证消息的可靠性，会保证每一条消息丢失成功进行存储的，而异步模式下，虽然Broker收到消息可以立即反馈，但是数据落盘时如果MQ宕机，发送者已经收到确认的消息的，但是消息其实并没有存储到Broker中，就会导致消息数据存在丢失的现象。
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
在本压缩包中，你将找到搭建RocketMQ集群所需的全部资源，包括必要的jar包和war包。 首先，我们来了解一下RocketMQ集群的基本概念。在RocketMQ中，集群主要由NameServer、Broker和Producer/Consumer等角色组成。...
RocketMQ（二）集群配置
gh670011677的博客
07-11 587
RocketMQ 网络部署特点 Name Server是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。 Broker部署相对复杂，Broker 分为Master与Slave，一个Master 可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave 的对应关系通过指定相同的BrokerName，不同的BrokerId来定 义，Bro
RocketMq集群搭建
hhh809434255w的博客
12-15 1083
centos7+docker搭建rocketmq双主双从集群
【消息队列】RocketMQ 生产和消费中的集群模式和广播模式
最新发布
weixin_51603093的博客
05-09 1364
集群模式默认一条消息只会被一个消费者消费一次（消费者组内的实例之间进行均衡分配），适用于需要保证消息处理的高可用性和负载均衡性的场景；广播模式默认一条消息可以被整个消费组的消费者消费，适用于需要实时通知所有消费者的场景，如广告推送、实时通知等。转载：1、2、
RocketMQ一（基本概念+集群注意点）
lxsxkf的博客
09-10 602
1. 概述 MQ，Message Queue，是一种提供消息队列服务的中间件。MQ的用途：限流削峰、异步解耦、数据收集 1.1 基本概念 消息（Message）：生产和消费数据的最小单位，每条消息必须属于一个主题。 主题（Topic）：Topic表示一类消息的集合，每条消息只能属于一个主题，是RocketMQ进行消息订阅的基本单位。producer:topic 1:n consumer:topic 1:1 标签（Tag）：为消息设置的标签，用于同一主题下区分不同类型的消息。 队列（Queue）：存储
RocketMQ（五）RocketMQ集群架构
热门推荐
weixiaohuai的博客
03-20 1万+
一、RocketMQ集群架构 RocketMQ网络部署图如下： RocketMQ中主要涉及到四种角色：NameServer注册服务器、Broker服务器、Producer生产者、Consumer消费者。每种角色都可以单独搭建集群，下面我们分别介绍一下NameServer 集群、Broker 集群、Producer 集群、Customer 集群。 (一)、NameServer 集群 NameServer 是一个无状态的节点，可集群部署，节点都是各自独立的，无任何信息同步。 (二)、 Broker
基于DLedger构建高可用RocketMQ集群实践.pdf
10-16
"基于DLedger构建高可用RocketMQ集群实践" 本文档主要介绍了基于DLedger构建高可用RocketMQ集群的实践经验，旨在解决RocketMQ多副本架构的演进和容灾切换问题。下面是本文档中提到的关键知识点： 1. DLedger简介：...
rocketmq集群部署
08-11
centos7系统搭建rocketmq集群手册
CentOS7部署RocketMQ集群相关安装包
02-22
CentOS7部署RocketMQ集群相关安装包
RocketMQ集群部署1
08-04
总的来说，RocketMQ集群部署是一项关键任务，它关系到整个分布式系统的信息传递效率和稳定性。正确配置和管理NameServer和BrokerServer，能够帮助我们构建出一个高效、可靠的实时消息处理平台。
搭建rocketmq集群遇到的坑点及解决办法
11-03
在搭建rocketmq集群过程中遇到的问题，记录下了，以免后来人浪费时间
深入了解 RocketMQ：高性能消息中间件
weixin_42383680的博客
11-01 1001
RocketMQ主要由Producer、Broker、Consumer三部分组成，其中Producer负责生产消息，Consumer负责消费消息，Broker负责存储消息。Broker在实际部署过程中对应一台服务器，每个Broker可以存储多个Topic的消息，每个Topic的消息也可以分片存储于不同的Broker。MessageQueue用于存储消息的物理地址，每个Topic中的消息地址存储于多个MessageQueue中。ConsumerGroup由多个Consumer实例构成。
RocketMQ快速实战以及集群架构详解
qq_27740127的博客
10-10 2353
MQ：MessageQueue，消息队列。是在互联网中使用非常广泛的一系列服务中间件。这个词可以分两个部分来看，一是Message：消息。消息是在不同进程之间传递的数据。这些进程可以部署在同一台机器上，也可以分布在不同机器上。二是Queue：队列。队列原意是指一种具有FIFO(先进先出)特性的数据结构，是用来缓存数据的。对于消息中间件产品来说，能不能保证FIFO特性，尚值得考量。但是，所有消息队列都是需要具备存储消息，让消息排队的能力。
RocketMQ-手把手教你搭建集群
秃了也弱了
01-14 2767
目录 一、集群架构 二、准备rocketmqOS1主机 三、修改rocketmqOS1配置文件 配置文件位置 修改broker-a.properties 修改broker-b-s.properties 其它配置 四、准备rocketmqOS2主机 五、修改rocketmqOS2配置文件 修改broker-b.properties 修改broker-a-s.properties 六、启动服务器 启动NameServer集群 启动两个Master 启动两个Slave 七、mqad
RocketMQ 的 Broker 有哪几种集群模式？
越努力越幸运。
02-01 549
总的来说，单Master模式适合测试和开发环境，Master-Slave模式适合生产环境，而Dledger模式适合需要高可靠性的生产环境。
RocketMQ 入门：MQ 基础概念、集群搭建与高可用配置，消息示例详解
沉梦听雨的博客
12-23 1041
Message Queue（消息 队列），从字面上理解：首先它是一个队列。FIFO 先进先出的数据结构 —— 队列。消息队列就是所谓的存放消息的队列。消息队列解决的不是存放消息的队列的目的，解决的是通信问题。1、同步通信情况下比如以电商订单系统为例，如果各服务之间使用同步通信，不仅耗时较久，且过程中受到网络波动的影响，不能保证高成功率。因此，使用异步的通信方式对架构进行改造。2、使用消息队列后。异步通信的情况下使⽤异步的通信方式对模块间的调⽤进行解耦，可以快速的提升系统的吞吐量。
RocketMQ（三）—— 集群模式的说明
稷下学员的笔记博客
12-23 1327
集群理论 复制与刷盘策略 复制： 复制策略是Broker的Master与Slave间的数据同步方式。分为同步复制与异步复制： 同步复制：消息写入master后，master会等待slave同步数据成功后才向producer返回成功ACK 异步复制：消息写入master后，master立即向producer返回成功ACK，无需等待slave同步数据成功 异步复制降低系统写入延迟，提高系统吞吐量 刷盘： 刷盘策略指的是broker中消息的落盘方式，即消息发送到broker内存后消息持久化到磁盘
rocketmq集群
07-27
RocketMQ集群是指在RocketMQ消息中间件中，多个Broker节点协同工作，提供高可用性和高吞吐量的消息传递服务。根据提供的引用内容，可以看出搭建RocketMQ集群的步骤如下： 1. 首先，将RocketMQ解压至根目录，并修改...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值