第3章 RocketMQ集群

最新推荐文章于 2023-05-04 15:01:24 发布
最新推荐文章于 2023-05-04 15:01:24 发布
阅读量409 收藏 1
点赞数
分类专栏： Rocket MQ

第3章 RocketMQ集群

3.1 RocketMQ集群模式

3.1.1 单个Master

这是一种风险比较大的集群方式，因为一旦Borker重启或宕机期间，将会导致这个服务不可用，因此是不建议线上环境去使用的。

3.1.2 多个Master

​ 一个集群全部都是Master，没有Slave,它的优点和缺点如下：

优点：配置简单，单个Master宕机或者是重启维护对应用没有什么影响的，在磁盘配置为RAID10时，即使机器宕机不可恢复的情况下，消息也不会丢失（异步刷盘丢失少量消息，同步刷盘则是一条都不会丢失），性能最高

缺点：当单个Broker宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息的实时性会受到影响。

3.1.3 多Master多Slave模式-异步复制

​ 每个Master配置一个Slave,有多对的Master-Slave，HA采用的是异步复制方式，主备有短暂的消息延迟，毫秒级别的（Master收到消息之后立刻向应用返回成功标识，同时向Slave写入消息）。优缺点如下：

优点：即使是磁盘损坏了，消息丢失的非常少，且消息实时性不会受到影响，因为Master宕机之后，消费者仍然可以从Slave消费，此过程对应用透明，不需要人工干预，性能同多个Master模式机会一样。

缺点：Master宕机，磁盘损坏的情况下，会丢失少量的消息。

3.1.4 多Master多Slave模式-同步双写

每个Master配置一个Slave,有多对的Master-Slave，HA采用的是同步双写模式，主备都写成功，才会向应用返回成功。

优点：数据与服务都无单点，Master宕机的情况下，消息无延迟，服务可用性与数据可用性都非常高

缺点：性能比异步复制模式略低，大约低10%左右，发送单个Master的RT会略高，目前主机宕机后，Slave不能自动切换为主机，后续会支持自动切换功能。

3.2 RocketMQ主从搭建

3.2.1 环境准备

我们先准备2台centos虚拟机，ip：192.168.211.142/192.168.211.143，在hosts文件中配置地址与IP的映射关系。
在这里插入图片描述
修改2台机器的/etc/hosts文件，加入如下映射关系

192.168.211.143 rocketmq-nameserver1
192.168.211.143 rocketmq-master1
192.168.211.142 rocketmq-nameserver2
192.168.211.142 rocketmq-master1-slave1
3.2.2 安装配置(slave)

由于之前已经安装了1台RocketMQ，所以我们只需要安装从节点（192.168.211.142）即可。我们可以把安装文件上传到虚拟上,并解压安装

从192.168.211.143目录下降RocketMQ拷贝到192.168.211.142服务器上，如下代码:

scp rocketmq-all-4.4.0-bin-release.zip 192.168.211.142:/usr/local/server/software/

解压文件存放到/usr/local/server/mq目录下

unzip rocketmq-all-4.4.0-bin-release.zip -d /usr/local/server/mq

更改解压后的文件名

mv rocketmq-all-4.4.0-bin-release rocketmq

创建RocketMQ存储文件的目录,执行如下命令：

[root@localhost rocketmq]# mkdir logs
[root@localhost rocketmq]# mkdir store
[root@localhost rocketmq]# cd store/
[root@localhost store]# mkdir commitlog
[root@localhost store]# mkdir consumequeue
[root@localhost store]# mkdir index

进入conf目录，替换所有xml中的${user.home},保证日志路径正确

sed -i 's#${user.home}#/usr/local/server/mq/rocketmq#g' *.xml

注意：sed -i在这里起一个批量替换的作用

sed -i 's#原字符串#新字符#g' 替换的文件

RocketMQ对内存的要求比较高，最少1G，如果内存太少，会影响RocketMQ的运行效率和执行性能。我们需要修改bin目录下的runbroker.sh和runserver.sh文件

runbroker.sh
改前:
JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"

改后:
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g"
runserver.sh
改前:
JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

改后:
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
3.2.3 主从配置

我们这里设置192.168.211.143为主节点，192.168.211.142为从节点，我们先修改192.168.211.143服务器数据，再拷贝到192.168.211.142服务器来即可。

修改192.168.211.143机器的RocketMQ配置文件:broker-a.properties，主要增加了从节点的地址

namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

修改192.168.211.143机器的RocketMQ配置文件:broker-a-s.properties

terName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示Master, > 0 表示slave
brokerId=1
#nameServer 地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认是凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/server/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/server/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/server/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/server/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/server/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/server/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=SLAVE
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageTreadPoolNums=128
#拉消息线程池数量
#pullMessageTreadPoolNums=128lushDiskType=ASYNC_FLUSH

主要改了brokerId=1和brokerRole=SLAVE

将配置文件拷贝到192.168.211.142服务器上，如下代码：

scp broker-a.properties broker-a-s.properties 192.168.211.142:/usr/local/server/mq/rocketmq/conf/2m-2s-async/

停止192.168.211.43服务

sh mqshutdown broker
sh mqshutdown namesrv

启动192.168.211.143的namesrv

nohup sh mqnamesrv &

启动192.168.211.142的namesrv

nohup sh mqnamesrv &

启动192.168.211.143的broker

nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-async/broker-a.properties > /dev/null 2>&1 &

启动192.168.211.142的broker

nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-async/broker-a-s.properties > /dev/null 2>&1 &
3.2.4 控制台配置

修改rocketmq-console-ng控制台项目的application.properties配置文件，添加上主从地址

rocketmq.config.namesrvAddr=192.168.211.143:9876;192.168.211.142:9876

运行控制台项目，并打开控制台的集群，可以看到如下节点信息：
在这里插入图片描述

3.2.5 主从模式故障演练

主从模式，即使Master宕机之后，消费者仍然可以从Slave消费，但不能接收新的消息，我们通过程序来演示一次该流程。

3.2.5.1 master宕机收消息演示

创建MasterSlaveProducer，实现消息发送，代码如下：在这里插入图片描述
执行消息发送后，打开控制台，如下图：在这里插入图片描述
停掉192.168.211.143的broker节点

./mqshutdown broker

创建MasterSlaveConsumer,实现消息消费，代码如下：在这里插入图片描述
控制台结果如下：

topic:Test_Quick_Topic,tags:TagA,result:hello rocketmq master-slave
3.2.5.1 master宕机发消息演示

关掉192.168.211.143的broker后，再次尝试发消息，会出现如下错误：
在这里插入图片描述

3.3 RocketMQ集群搭建-双主双从

我们这里搭建一个双主双从的集群，采用同步赋值异步刷盘方式进行集群，在工作中，我们也推荐这么做，我们先把环境准备一下。

3.3.1 准备工作

准备4台机器，如下:
在这里插入图片描述

3.3.2 RocketMQ安装

在每台机器上安装RocketMQ，安装过程和上面单节点RocketMQ安装流程基本类似。

3.3.3修改映射路径

修改每台机器的/etc/hosts文件，添加如下映射路径

192.168.211.141 rocketmq-nameserver1
192.168.211.142 rocketmq-nameserver2
192.168.211.143 rocketmq-nameserver3
192.168.211.144 rocketmq-nameserver4
192.168.211.141 rocketmq-master1
192.168.211.142 rocketmq-master2
192.168.211.143 rocketmq-master1-slave
192.168.211.144 rocketmq-master2-slave
3.3.4 RocketMQ节点配置

4台机器一起解压rocketmq压缩文件，最后将解压文件存放在/usr/local/server/mq/rocketmq目录下。

分别在4台机器的rocketmq目录下执行如下操作

mkdir logs
mkdir store
cd store/
mkdir commitlog
mkdir consumequeue
mkdir index

进入141集群rocketmq/conf/2m-2s-sync目录下配置对应的配置文件,修改broker-a.properties配置文件，如下：

terName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示Master, > 0 表示slave
brokerId=0
#nameServer 地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认是凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/server/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/server/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/server/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/server/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/server/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/server/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=YNC_MASTER
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageTreadPoolNums=128
#拉消息线程池数量
#pullMessageTreadPoolNums=128

修改broker-b.properties文件，如下：

terName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示Master, > 0 表示slave
brokerId=0
#nameServer 地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认是凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/server/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/server/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/server/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/server/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/server/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/server/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=YNC_MASTER
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageTreadPoolNums=128
#拉消息线程池数量
#pullMessageTreadPoolNums=128

修改broker-a-s.properties文件，如下：

terName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示Master, > 0 表示slave
brokerId=1
#nameServer 地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认是凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/server/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/server/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/server/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/server/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/server/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/server/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=SLAVE
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageTreadPoolNums=128
#拉消息线程池数量
#pullMessageTreadPoolNums=128

修改broker-b-s.properties文件，如下：

terName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示Master, > 0 表示slave
brokerId=1
#nameServer 地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时，自动创建服务器不存在的Topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认是凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/server/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/usr/local/server/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/usr/local/server/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/server/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/server/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/server/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=SLAVE
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageTreadPoolNums=128
#拉消息线程池数量
#pullMessageTreadPoolNums=128

将节点信息拷贝到每台机器,在141机器执行如下命令

scp broker-*.properties 192.168.211.142:/usr/local/server/mq/rocketmq/conf/2m-2s-sync
scp broker-*.properties 192.168.211.143:/usr/local/server/mq/rocketmq/conf/2m-2s-sync
scp broker-*.properties 192.168.211.144:/usr/local/server/mq/rocketmq/conf/2m-2s-sync

效果如下图：在这里插入图片描述
进入到每台机器的conf目录，替换日志文件路径，执行如下命令

sed -i 's#${user.home}#/usr/local/server/mq/rocketmq#g' *.xml

进入每台机器的bin目录下，需改runbroker.sh和runserver.sh文件

runbroker.sh
改前:
JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g"

改后:
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g"
runserver.sh
改前:
JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

改后:
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
3.3.5 RocketMQ集群启动测试

先在每台服务器启动namesrv

nohup sh mqnamesrv &

再启动broker

141服务器执行如下启动命令:

nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-sync/broker-a.properties > /dev/null 2>&1 &

142服务器执行如下启动命令:

nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-sync/broker-b.properties > /dev/null 2>&1 &

143服务器执行如下启动命令:

nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-sync/broker-a-s.properties > /dev/null 2>&1 &

144服务器执行如下启动命令:

nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-sync/broker-b-s.properties > /dev/null 2>&1 &

输入jps查看进程

[root@localhost bin]# jps
43761 NamesrvStartup
43803 BrokerStartup
44093 Jps
[root@localhost bin]#

启动后，修改控制台的namesrv地址,如下修改：

rocketmq.config.namesrvAddr=192.168.211.141:9876;192.168.211.142:9876;192.168.211.143:9876;192.168.211.144:9876

启动控制台服务，并访问控制台，如下：在这里插入图片描述
这里如果想停掉服务，可以先停掉broker

sh mqshutdown broker

再关闭namesrv

sh mqshutdown namesrv
G5513
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ集群的特点以及各种集群模式的介绍
江晓龙的博客
06-26 1万+
同步模式下的多Master多Slave模式比异步模式效率略低，并且性能也比异步模式消耗要高，因为同步模式Broker收到一条消息，首先会落盘然后同步给Slave，最后再反馈给发送者，而异步模式下，Broker在收到消息的一瞬间就会反馈给发送者消息已收到。同步模式下可以保证消息的可靠性，会保证每一条消息丢失成功进行存储的，而异步模式下，虽然Broker收到消息可以立即反馈，但是数据落盘时如果MQ宕机，发送者已经收到确认的消息的，但是消息其实并没有存储到Broker中，就会导致消息数据存在丢失的现象。
RocketMQ集群部署
wangqingjia的博客
06-22 9482
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
阿里二面：RocketMQ 集群 Broker 挂了，会造成什么影响？
zjj2006的专栏
09-05 2870
RocketMQ集群如果一个Broker挂了，会造成什么影响？
RocketMQ避坑指南：你部署的RocketMQ集群真的是高可用？
m0_65321095的博客
12-31 323
RocketMQ 集群采取的部署架构为2主2从，其部署架构如下图所示： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传 其部署架构中一个非常明显的特点是一台物理机上分别部署了 nameserver，broker 两个进程。 其中一台机器(192.168.3.100)的内存出现故障，导致机器重启，但Linux操作系统由于重启需要自检等因素，整个重启过程竟然持续了将近10分钟，客户端的发送超时持续10分钟，这显然是不能接受的！！！ RocketMQ的高可用设计何在？接下来我们将详细介绍其
RocketMQ-单条消息大小上限
coder-zzzz的博客
04-26 1万+
单条消息大小上限 默认大小为4M producer端会做校验，同时broker的MessageStoreConfig配置了也是4M Producer配置 参数名 默认值 说明 maxMessageSize 4MB 客户端限制的消息大小，超过报错，同时服务端也会限制，所以需要跟服务端配合使用。 Broker配置 public class MessageStoreConfig ...
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
附件是rocketmq集群搭建资源以及搭建详细步骤（全套），一个附件即可以实现从0搭建rocketmq集群，内含搭建集群所需要的jar包，war包
CentOS7部署RocketMQ集群相关安装包
最新发布
02-22
CentOS7部署RocketMQ集群相关安装包
rocketmq集群部署
08-11
centos7系统搭建rocketmq集群手册
rocketmq集群搭建所需文件
02-10
rocketmq集群搭建所需文件，不要积分即可下载，下载后还请动下小手点个关注，支持一下作者，集群搭建详细步骤见https://blog.csdn.net/qq_40756113/article/details/122865394
Docker部署RocketMQ集群的Shell脚本
11-23
Docker部署RocketMQ集群的Shell脚本
万字超详细解析：RocketMQ集群环境搭建
wdj_yyds的博客
05-04 2853
通过之前安装单台RocketMQ，并演示了消息的收发，已经基本了解了RocketMQ是怎么样工作的，下面就来搭建一个集群。
rocketmq发送 the message body size over max value, MAX: 4194304
jimmy609的专栏
05-16 4325
rocketmq
11.RocketMQ之事务消息+批量消息+消息过滤
kk_lina的博客
10-20 856
一、事务消息 如果扣款失败，取款依旧可能会成功，需要利用事务处理。 事务管理器TM 向事物协调器TC发送指令，开启事务。 工行系统发送一个给B赠款1万元的事物消息给TC。 TC向Broker发送半事务消息prepareHalf，将消息M预提交到broker。此时建行系统看不到broker中的消息。 Broker将预提交结果上报给TC。 预提交失败，则TC会向TM发送消息M预提交失败响应，全局事务结束；预提交成功，TC会调用工行系统回调操作，去完成工行用户A的预扣款1万元的操作。 工行系统会向TC发送预扣
RocketMQ（五）RocketMQ集群架构
m0_54883970的博客
08-02 231
本篇文章主要介绍了RocketMQ的集群架构、四种集群模式、RocketMQ集群的工作流程，以及总结了RocketMQ提供的刷盘策略和主从同步复制的方式，下面一篇文章，我们就实践一下如何搭建多Master多Slave模式-异步复制的RocketMQ集群，实现RocketMQ的高可用。先自我介绍一下，小编13年上师交大毕业，曾经在小公司待过，去过华为OPPO等大厂，18年进入阿里，直到现在。httpshttps。...
RocketMQ(22) -- RocketMQ应用 -- 批量消费消息
姜皓的博客
05-07 5181
RocketMQ应用 -- 批量消费消息
【RocketMQ】集群的搭建与高可用
morris
07-30 1万+
RocketMQ分布式集群是通过Master和Slave的配合达到高可用性的。Master和Slave的区别在Broker的配置文件中，参数brokerId的值为0表明这个Broker是Master，大于0表明这个Broker是Slave，同时brokerRole参数也会说明这个Broker是Master还是Slave。Master角色的Broker支持读和写，Slave角色的Broker仅支持读，也就是Producer只能和Master角色的Broker连接写入消息；...
RocketMQ集群架构与原理解析
zhangchen的博客
05-05 644
RocketMQ集群架构与原理解析
RocketMq集群环境实战(双namesrv、双master、双slave)
热门推荐
xiaojie19871116的博客
07-21 2万+
主:192.168.151.131   从 192.168.151.132 1. 修改主从hosts文件     vi /etc/hosts  加入     192.168.153.131  rocketmq.master     192.168.153.132  rocketmq.slave 2. 修改mq配置文件采用异步复制  2m-2s-async      19
RocketMQ集群部署文档（2m-2s-async模式）
从前不爱吃面的大叔
11-20 6406
第一章、安装文件的准备 1、64bit OS, Linux/Unix/Mac is recommended; 2、64bit JDK 1.8+; 3、Maven 3.2.x 4、Git 第二章、集群安装 JDK每台机器都需要安装，maven和git只需要一台安装即可，编译好rocketmq之后使用scp命令拷贝到其他机器。   1、安装64位jdk配置环境变量 J
rocketmq集群
07-27
RocketMQ集群是指在RocketMQ消息中间件中，多个Broker节点协同工作，提供高可用性和高吞吐量的消息传递服务。根据提供的引用内容，可以看出搭建RocketMQ集群的步骤如下： 1. 首先，将RocketMQ解压至根目录，并修改...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值