RocketMQ集群部署方式总结

最新推荐文章于 2024-04-17 10:14:41 发布
最新推荐文章于 2024-04-17 10:14:41 发布
阅读量1.7w 收藏 42
点赞数 6
分类专栏： 中间件 文章标签： 消息中间件 RocketMQ集群部署 RocketMQ
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leexide/article/details/80035470
版权

1 RocketMQ网络部署图

RocketMQ网络部署图如下图所示：

1.1 RocketMQ网络部署特点：
  • NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
  • Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有 NameServer。
  • Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。
  • Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。

2 NameServer集群

NameServer集群如下：

NameServer集群IP地址
NameServer-1192.168.1.101
NameServer-2192.168.1.102

分别启动

nohup sh mqnamesrv &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/namesrv.log

3 RocketMQ配置文件

众所周知，RocketMQ有多种集群部署方式，它们的配置文件也是分开的，如下：

[root@rocketmq01 conf]# ls -rlt /usr/local/rocketmq/conf
total 32
-rw-r--r-- 1 root root   949 Sep 19  2017 broker.conf
drwxr-xr-x 2 root root    60 Sep 19  2017 2m-noslave
drwxr-xr-x 2 root root   118 Sep 19  2017 2m-2s-sync
drwxr-xr-x 2 root root   118 Sep 19  2017 2m-2s-async
-rw-r--r-- 1 root root  3720 Apr 21 07:56 logback_namesrv.xml
-rw-r--r-- 1 root root  3718 Apr 21 07:56 logback_filtersrv.xml
-rw-r--r-- 1 root root 15146 Apr 21 07:56 logback_broker.xml
-rw-r--r-- 1 root root  3789 Apr 21 07:56 logback_tools.xml

说明：

  • 2m-noslave： 多Master模式
  • 2m-2s-sync： 多Master多Slave模式，同步双写
  • 2m-2s-async：多Master多Slave模式，异步复制

RocketMQ默认提供的配置文件都是最基本的，很多配置都是默认值，在生产环境中我们需要根据实际情况进行修改。样例配置如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a|broker-b
#0表示Master，>0表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.1.101:9876;192.168.1.102:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/alibaba-rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/alibaba-rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/alibaba-rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/alibaba-rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/alibaba-rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/alibaba-rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

4 Broker集群部署

Broker集群部署有几种不同的方式。这里的Slave不可写，但可读，类似于MySQL的主备方式。

4.1 单个Master

这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用，不建议线上环境使用

4.2 多Master模式

一个集群无Slave，全是Master，例如2个Master或者3个Master。

brokerNamebrokerIdbrokerRoleIP地址
broker-a0ASYNC_MASTER192.168.1.101
broker-b0ASYNC_MASTER192.168.1.102

优点：
配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢失（异步刷盘丢失少量消息，同步刷盘一条不丢）。性能最高。

缺点：
单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。

启动步骤：
第一步：先启动NameServer集群

第二步：在192.168.1.101，启动第一个Master

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第三步：在192.168.1.102，启动第二个Master

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log
4.3 多Master多Slave模式，异步复制

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟，毫秒级。

brokerNamebrokerIdbrokerRoleIP地址
broker-a0ASYNC_MASTER192.168.1.101
broker-a1SLAVE192.168.1.102
broker-b0ASYNC_MASTER192.168.1.103
broker-b1SLAVE192.168.1.104

优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为Master 宕机后，消费者仍然可以从Slave消费，此过程对应用透明。不需要人工干预。性能同多 Master 模式几乎一样。

缺点：Master宕机，磁盘损坏情况，会丢失少量消息。

启动步骤
第一步：先启动NameServer集群

第二步：在192.168.1.101，启动第一个Master

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-a.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第三步：在192.168.1.102，启动第一个Slave

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-a-s.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第四步：在192.168.1.103，启动第二个Master

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-b.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第五步：在机器 192.168.1.104，启动第二个Slave

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-async/broker-b-s.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
4.4 多Master多Slave模式，同步双写

每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，主备都写成功，向应用才返回成功。

brokerNamebrokerIdbrokerRoleIP地址
broker-a0SYNC_MASTER192.168.1.101
broker-a1SLAVE192.168.1.102
broker-b0SYNC_MASTER192.168.1.103
broker-b1SLAVE192.168.1.104

优点：数据与服务都无单点，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高。

缺点：性能比异步复制模式略低，大约低10%左右，发送单个消息的RT会略高。目前主宕机后，备机不能自动切换为主机，后续会支持自动切换功能。

启动步骤：
第一步：先启动NameServer集群

第二步：在192.168.1.101，启动第一个Master

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第三步：在192.168.1.102，启动第一个Slave

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-a-s.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第四步：在192.168.1.103，启动第二个Master

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

第五步：在192.168.1.104，启动第二个Slave

nohup sh mqbroker -c $ROCKETMQ_HOME/conf/2m-2s-sync/broker-b-s.properties >$ROCKETMQ_HOME/log/mq.log >/dev/null 2>&1 &
tail -f -n 500 $ROCKETMQ_HOME/logs/rocketmqlogs/broker.log

注意事项：以上Broker与Slave配对是通过指定相同的brokerName参数来配对，Master的 BrokerId必须是0，Slave的BrokerId必须是大于0的数。另外一个Master下面可以挂载多个Slave，同一Master下的多个Slave 通过指定不同的BrokerId来区分。

4.5 总结

1、异步复制和同步双写总结

2、集群方式对比

集群方式运维特点消息可靠性(master宕机情况)服务可用性(master宕机情况)其他特点备注
单Master结构简单，扩容方便，机器要求低同步刷盘消息一条都不会丢整体可用，未被消费的消息无法取得，影响实时性性能最高
多Master异步有毫秒级丢失，同步双写不丢失差评，主备不能自动切换，且备机只能读不能写，会造成服务整体不可写不考虑，除非自己提供主从切换的方案
Master-Slave(异步复制)结构复杂，扩容方便故障时会丢失消息整体可用，实时性影响毫秒级别
该组服务只能读不能写性能很高适合消息可靠性中等，实时性中等的要求
Master-Slave(同步双写)结构复杂，扩容方便不丢消息整体可用，不影响实时性，该组服务只能读不能写性能比异步低10%，所以实时性也并不比异步方式太高适合消息可靠性略高，实时性中等、性能要求不高的需求

5 高可用演练场景

RocketMQ高可用演练场景

项目发送消息发送消息过程中接收消费消息
停用一个namesrv不影响通信不影响通信不影响通信
停用全部namesrv影响通信不影响通信影响通信，启动任意的namesrv可恢复
停用单个master broker不影响通信不影响通信不影响通信
停用全部master broker影响通信影响通信，无法恢复影响通信
停用一个slave broker不影响通信不影响通信不影响通信
停用全部slave broker不影响通信影响通信，数秒恢复不影响通信，数秒恢复

下面的是我的公众号二维码，欢迎关注。文章转载请注明出处www.leexide.com

Leexide
关注
  • 6
    点赞
  • 踩
  • 42
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
rocketmq部署教程
迷途的汪汪
03-22 6273
rockemq集群部署教程
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
附件是rocketmq集群搭建资源以及搭建详细步骤（全套），一个附件即可以实现从0搭建rocketmq集群，内含搭建集群所需要的jar包，war包
RocketMQ集群部署1
08-04
1、官网下载 3、开始部署 4、启动 5、参考文档
RabbitMQ 部署及配置详解(集群部署)_rabbitmq集群部署详解
最新发布
bq520111的博客
04-17 1012
因此，当整个集群关闭时，最后一个关闭的节点是唯一一个在关闭时没有任何正在运行的对等节点的节点。RabbitMQ 集群中的所有节点都是平等的对等节点：RabbitMQ 核心中没有特殊的节点。步骤与上面的步骤相同，只是这次我们将集群到rabbit2，以证明选择集群到的节点无关紧要——只需提供一个在线节点就足够了，该节点将集群到指定节点所属的集群。为了将集群中的三个节点链接起来，我们告诉 其中两个节点，例如rabbit@rabbit2和rabbit@rabbit3，加入 第三，说rabbit@rabbit1。
Docker部署RocketMQ集群的Shell脚本
11-23
Docker部署RocketMQ集群的Shell脚本
中间件+RocketMq+集群部署
11-12
中间件+RocketMq+集群部署
RocketMq的集群的搭建（2主2从异步复制集群模式）
健康平安的活着的专栏
06-05 2238
本案例采用2m-2s-async的方式搭建集群。实际项目中，为了达到高可用，一般会使用dleger。集群规划说明：nameserver是一个轻量级的注册中心，，直接启动即可。3台nameserver之间不需要通信，而是被请求方来关联3台nameserver的地址。机器角色配置在rocketmq的config目录下可以看到rocketmq建议的各种配置方式：2m-2s-async: 2主2从异步刷盘(吞吐量较大，但是消息可能丢失),
RocketMQ（五）RocketMQ集群架构
热门推荐
weixiaohuai的博客
03-20 1万+
一、RocketMQ集群架构 RocketMQ网络部署图如下： RocketMQ中主要涉及到四种角色：NameServer注册服务器、Broker服务器、Producer生产者、Consumer消费者。每种角色都可以单独搭建集群，下面我们分别介绍一下NameServer 集群、Broker 集群、Producer 集群、Customer 集群。 (一)、NameServer 集群 NameServer 是一个无状态的节点，可集群部署，节点都是各自独立的，无任何信息同步。 (二)、 Broker
RocketMQ开发指导之二——RocketMQ部署
liitdar的博客
02-26 852
本系列文章主要介绍 RocketMQ 的相关知识，并通过示例代码介绍 RocketMQ 的使用方法。 本文为系列文章的第二篇，主要介绍 RocketMQ 的部署方法。 说明：本文中 RocketMQ 采用“多Master多Slave（同步双写）”模式。 1 概述 1.1 操作系统及软件信息 本文中部署 RocketMQ 时，使用的操作系统和软件的信息如下： 软件名称 版本信息 操作系统 CentOS Linux release 7.3.1611, 64bit JDK j
【有料】4 种高可用 RocketMQ 集群搭建方案！
daobuxinzi的博客
10-20 1332
假设某个Topic的每秒十万消息的写入， 可以增加 Master Broker 然后十万消息的写入会分别分配到不同的 Master Broker ，如有5台 Master Broker 那每个 Broker 就会承载2万的消息写入。每台 NameServer 都会有完整的集群路由信息，包括所有的 Broker 节点的信息，我们的数据信息等等。数据都是分布式存储的，每个Topic的数据都会分布在不同的 Broker 中，如果需要存储更多的数据，只需要增加 Master Broker 就可以了。
rocketmq集群部署
08-11
centos7系统搭建rocketmq集群手册
RocketMQ（三）—— 集群模式的说明
稷下学员的笔记博客
12-23 1310
集群理论 复制与刷盘策略 复制： 复制策略是Broker的Master与Slave间的数据同步方式。分为同步复制与异步复制： 同步复制：消息写入master后，master会等待slave同步数据成功后才向producer返回成功ACK 异步复制：消息写入master后，master立即向producer返回成功ACK，无需等待slave同步数据成功 异步复制降低系统写入延迟，提高系统吞吐量 刷盘： 刷盘策略指的是broker中消息的落盘方式，即消息发送到broker内存后消息持久化到磁盘
RocketMQ的broker集群模式
XiWangDeFengChe的博客
02-07 2660
1、普通集群模式，主从模式 有一个master节点，其他都是slave节点，master响应客户端的请求，并存储消息；slave只同步master节点的消息（同步模式是：同步同步或者异步同步），也会响应部分客户端读请求。 master挂了的话，slave节点不会转变为master，也就是会导致集群不可用。 2、Dledger集群模式 Dledger集群是rocketmq在4.5版本之后引入的高可用集群模式，采用Raft算法来随机选举master节点，master节点在挂掉不可用的时候，slave节点
Linux服务器安装JavaWeb环境(三) RocketMQ,Nacos
脑壳疼
11-18 1401
/*****************【安装RocketMq】****************/ 1.下载安装包 http://rocketmq.apache.org/dowloading/releases/ 下载.zip版本的包，我这里下载的是4.4.0版本 2.创建文件夹，上传到服务器并解压，修改解压后的文件夹名称 cd /usr/local rz unzip rocketmq-all-4.4.0-bin-release.zip mv rocketmq-all-4.4.0-bin-relea
RocketMQ集群部署
wangqingjia的博客
06-22 9465
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
系列十五（实战）、搭建RocketMQ集群（双主双从）
仰望星空，脚踏实地！安全感是自己给的，努力才是一辈子的安全感。
07-11 3060
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
RockerMQ集群部署
Java.L的博客
02-24 2173
讲解RockerMQ集群部署
RocketMQ集群部署方案（DLedger）
weixin_37838106的博客
01-29 4953
RocketMQ集群部署方案（DLedger） 一、基本配置 1、准备三台虚拟机，root密码 root ;IP地址： 192.168.xxx.xxx worker1 192.168.xxx.xxx worker2 192.168.xxx.xxx worker3 并在对应的机器的/etc/hosts文件中设置对应的ip和机器名映射 2、每台机器上创建用户mq并设置密码 useradd mq passwd mq 密码输入：Anji@1024 3、系统配置 1）免密登录，切换mq用户，在worker1

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值