rocketmq双Master集群模式搭建

最新推荐文章于 2024-09-18 23:05:36 发布
最新推荐文章于 2024-09-18 23:05:36 发布
阅读量2.2k 收藏 2
点赞数
分类专栏： rocketmq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34021712/article/details/78169014
版权
参考文章： http://www.cnblogs.com/wrong5566/p/6078592.html
RocketMQ的集群部署方式有多种，其中包括单个Master、多个Master、多Master多Slave模式（异步复制）以及多Master多Slave模式（同步双写）。本次以多Master集群模式为例搭建一个双机Master的RocketMQ集群环境。

环境介绍

服务器ip环境安装的服务主机名
192.168.1.106centos7nameServer+brokernameserver1/master1
192.168.1.107centos7nameServer+brokernameserver2/master2

准备工作

1.安装jdk

2.下载最新rocketmq包和控制台jar包

http://blog.csdn.net/qq_34021712/article/details/78162625

搭建过程

1.将rocketmq上传到/usr/local/rocketmq目录下(两台都要做)

mkdir /usr/local/rocketmq
#将tar包上传到上面创建的目录下,解压之后不包含二层目录,千万别把系统自带的bin路径替换掉了,还得重装虚拟机
tar -zxvf apache-rocketmq.tar.gz#解压
rm -rf rocketmq-3.5.8.tar.gz#删除压缩包
2.创建数据存储路径（两台机器都要创建） 

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumerqueue
mkdir /usr/local/rocketmq/store/index
3.修改RocketMQ的配置文件:conf/2m-noslave/broker-a.properties  broker-b.properties(两台都要修改) 
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样 
#broker-a.properties就写broker-a，broker-b.properties就写broker-b
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.1.106:9876;192.168.1.107:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭 
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824 
#ConsumeQueue每个文件默认存30W条，根据业务情况调整 
mapedFileSizeConsumeQueue=300000 
#强制删除文件间隔时间（单位毫秒）
#destroyMapedFileIntervalForcibly=120000
#定期检查Hanged文件间隔时间（单位毫秒）
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径 
storePathCommitLog=/usr/local/rocketmq/store/commitlog 
#消费队列存储路径存储路径 
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径 
storeCheckpoint=/usr/local/rocketmq/store/checkpoint 
#abort 文件存储路径 
abortFile=/usr/local/rocketmq/store/abort 
#限制的消息大小
maxMessageSize=65536
#刷CommitLog，至少刷几个PAGE
#flushCommitLogLeastPages=4 
#刷ConsumeQueue，至少刷几个PAGE
#flushConsumeQueueLeastPages=2 
#刷CommitLog，彻底刷盘间隔时间
#flushCommitLogThoroughInterval=10000 
#刷ConsumeQueue，彻底刷盘间隔时间
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master 
#- SYNC_MASTER 同步双写Master 
#- SLAVE brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘 
#- SYNC_FLUSH 同步刷盘 
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量 
#sendMessageThreadPoolNums=128
#拉消息线程池数量 
#pullMessageThreadPoolNums=128
因为有两个master主节点，所以主节点1启动依赖broker-a.properties，主节点2启动依赖broker-b.properties，如果是三个Master，那么还会有一个broker-c.properties，以此类推。
4.修改日志配置文件(两台都要修改) 
mkdir -p /usr/local/rocketmq/logs
cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml
5.修改启动脚本参数（JVM参数的配置）(两台都要修改)
我的虚拟机分配的内存很小,并且nameserver和broker都在同一台机器,所以要修改一下启动参数
1）broker的参数 

vi /usr/local/rocketmq/bin/runbroker.sh
#修改为以下内容
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:PermSize=128m -XX:MaxPermSize=320m"
2）nameserver的参数 

vi /usr/local/rocketmq/bin/runserver.sh
#修改为以下内容
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:PermSize=128m -XX:MaxPermSize=320m"
3)  修改bin/tools.sh 
vi /usr/local/rocketmq/bin/tools.sh  
#修改为以下内容   
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:PermSize=128m -XX:MaxPermSize=320m"
6.启动服务

先启动两台机器的NameServer，再启动两台机器的Borker，关机的时候顺序相反，先关闭两台机器的Broker，再关闭两台机器的Nameserver。

1)  启动nameserver(两台都要启动) 
cd /usr/local/rocketmq/bin/
nohup sh mqnamesrv &
使用jps命令查看启动的进程

使用tail -f /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log查看nameserver启动日志
2)  启动broker(两台都要启动)
注意：这里第一个节点就用broker-a.properties  第二个节点就用broker-b.properties 
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &
使用netstat -ntlp可以看到nameserver的9876端口 和broker通信的10911接口都已经被占用

使用jps命令查看启动的进程

使用tail -f /usr/local/rocketmq/logs/rocketmqlogs/broker.log查看broker启动日志
8.停止rocketMQ服务
关闭namesrv服务：sh /usr/local/rocketmq/bin/mqshutdown namesrv
关闭broker服务 ：sh /usr/local/rocketmq/bin/mqshutdown broker
这个名字想了很久
关注
专栏目录
linux环境下rocketMq双master集群搭建
congge
06-07 2173
为什么要使用集群 在生产环境中，经常会有意外的情况发生，对于rocketmq也不例外，单节点情况下，如果出现网络闪断，服务器掉电或宕机之类的，如果服务器不能及时恢复，很可能造成丢消息的情况，因此，集群环境下可以保证服务的高可靠用性。 rocketMq集群模式 RocketMQ的集群部署方式有多种，其中包括单个Master、多个Master、多Master多Slave模式（异步复制）以及多Maste...
搭建RocketMQ主从异步集群
冲出仁川，走出马德里，故事还会再继续
06-10 554
为了追求更好的性能，RocketMQ的最佳实践方式都是在集群模式下完成的。
双主模式rocketmq搭建
等待着雨水,茁壮成长--李建敏
04-18 745
简介 RocketMQ是一款分布式,队列模型的消息中间件,具有以下的特点: 能够保证严格的消息顺序;提供丰富的消息拉取模式;高效的订阅者水平扩展能力 实时的消息订阅机制;亿级消息堆积能力 选用理由 强调集群无单点,可扩展,任意一点高可用.水平可扩展 消息堆积能力,消息堆积后,写入低延迟 支持上万个队列 消息失败重试机制 消息可查询 开源社区活跃 成熟度,已经经历过了双十一的考...
RocketMQ 双主 集群搭建
zzqtty的博客
01-03 918
1.目录 2.优势  分布式； 严格的消息顺序； 海量消息堆积； 3.集群搭建 修改  vim etc/hosts    底层是netty 的心跳检查，用自带的nameserver实现 10.10.1.59  rocketmq-nameserver1 10.10.1.59  rocketmq-master1 10.10.1.46  rocketmq-nameserver2 10...
RocketMQ实战与集群架构详解
最新发布
qq_45061342的博客
09-18 1509
RocketMQ是阿里巴巴开源的一个消息中间件，在阿里内部历经了双十一等很多高并发场景的考验，能够处理亿万级别的消息。2016年开源后捐赠给Apache，现在是Apache的一个顶级项目。 早期阿里使用ActiveMQ，但是，当消息开始逐渐增多后，ActiveMQ的IO性能很快达到了瓶颈。于是，阿里开始关注Kafka。但是Kafka是针对日志收集场景设计的，它的高级功能并不是很贴合阿里的业务场景。尤其当它的Topic过多时，由于Partition文件也会过多，这就会加大文件索
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
RocketMQ-部署双Master模式
qq_40102178的博客
06-01 669
> unzip rocketmq-all-4.7.0-source-release.zip > cd rocketmq-all-4.7.0/ > mvn -Prelease-all -DskipTests clean install -U > cd distribution/target/rocketmq-4.7.0/rocketmq-4.7.0
rocketMq之双主双从同步模式搭建（四）
qq_19831379的博客
12-07 528
物理架构图 工作流程 启动NameServer，等待Broker、Producer、Consumer建立长连接，相当于注册中心 Broker启动后，与NameServer建立长连接，定时发送心跳包，心跳包包含Broker信息（ip+port）和存储所有的Topic信息，注册成功后，NameServer就有Topic与Broker的映射关系 收发消息前，先创建Topic，知道Topic存储再哪些Broker上，也可以发送消息自动发送Topic 启动Producer后，与NameServer建立.
RocketMQ多Master集群搭建（一）
删繁就简三秋树
04-29 541
RocketMQ是什么？为啥要使用RocketMQ?如何搭建RocketMQ？
rocketMQ双Master模式环境搭建
隐居者
06-10 989
两个节点内容一样 启动两台机器一台192.168.1.111一台192.168.112并且同时修改/etc/host文件内容 修改命令 vim /etc/hosts   192.168.1.111 rocketmq-nameserver1 192.168.1.111 rocketmq-master1   192.168.1.112 rocketmq-nameserver2 192...
docker-compose 搭建RocketMQ 5.1.0 集群（双主双从模式） | Spring Cloud 28
热门推荐
gmHappy
03-22 1万+
网上关于`Docker`搭建`RocketMQ`单机&集群的版本一般都是`4.X`。关于最新的`5.X`版本，官方给出的示例都是基于物理机&虚拟机实现，不便于我们我们日常开发使用，而且官方镜像 https://hub.docker.com/r/apache/rocketmq 中也没有关于容器化使用的介绍。 本章的目的：展示基于`docker-compose` 搭建`RocketMQ 5.1.0`集群，及一些部署在部署过程中的注意事项，方便大家对新版本的尝鲜与使用。
RocketMQ-3.5.8双主双从配置及部署说明
10-29
RocketMQ-3.5.8，双主双从配置文件、已编译安装包、安装部署文档及开发环境测试项目
基于k8s的jenkins构建集群实践
10-27
devops的实现，基于k8s的jenkins构建集群，实现闭环。
配置rocketMQ 双主双从模式
qq_44257753的博客
04-14 552
NAMESERVER: 管理broker; 相当于各个邮局的管理机构 broker: 暂存和传输消息; 相当于邮局 producer: 消息的发送者; 相当于发信者 consumer: 消息的接收者; 相当于收信者 Topic: 区分消息的种类; Message Queue: 相当于Topic的分区; 1.首先需要搭建两台服务器。并开启防火墙端口，出入站都需要。 9876，11009，1090...
Window下RocketMQ双Master+双Slave集群+可视化控制台环境搭建（一）
W1040585666的博客
05-21 351
盗用一张官网的结构部署图 RocketMQ集群解决了单机版RocketMQ所存在的单点故障问题，并且还可以对RocketMQ性能进行横向的拓展。 RocketMQ分为四个部分： 生产者集群 （只能往broker的master节点写入消息） 消费者集群 （能消费broker中的master和slave节点的消息） NameServer集群 （没有主备之分） Broker集群 （区分master和slave） 此次搭建的是双Master+双Slave集群，下面开始具体的搭建步骤 1、安装包.
Rocketmq - 3 部署双主环境
liang
08-17 1092
部署基于两个服务器，阿里云和腾讯云。阿里云作为broker-a，腾讯云作为broker-b。因为基于实操，与虚拟机不同，且因为服务器平台不同，有出现过不少小毛病。 请注意：阿里云，阿里云由于有安全组功能，对于不在安全组内的端口将会进行屏蔽，会影响rocketmq的启动，所以需要在阿里云的控制台中对应有的rocketmq端口添加安全组规则 1.软件准备 http://rocketmq.apac...
RocketMQ双主双从集群搭建部署
aaronszm的博客
06-29 714
systemctl stop firewalld.service firewall-cmd --state systemctl disable firewalld.service 或者为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口： nameserver 默认使用 9876 端口 master 默认使用 10911 端口 slave 默认使用11011 端口 开放name server默
RocketMQ双主双从集群搭建全流程
wukuruaCL的博客
04-26 2730
https://www.bilibili.com/video/BV1L4411y7mn?p=15&spm_id_from=pageDriver 总体架构 消息高可用采用2m-2s（同步双写）方式 集群工作流程 启动NameServer，NameServer起来后监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。 Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有To.
RocketMQ（六）多Master多Slave模式-异步复制集群搭建
weixiaohuai的博客
03-22 5818
目录 一、概述 二、环境准备 三、总体架构图 四、配置RocketMQ-Master01(主1 - 10.0.90.59) 五、配置RocketMQ-Master02(主2 - 10.0.90.144) 六、配置RocketMQ-Slave01(从1 - 10.0.91.8) 七、配置RocketMQ-Slave02(从2 - 10.0.91.49) 八、启动NameServer集群 九、启动Broker集群 十、启动可视化控制台 一、概述 前面一篇文章我们介绍了RocketMQ..
部署RocketMQ和RabbitMQ集群环境搭建指南
RocketMQ和RabbitMQ作为两种广泛使用的消息队列服务，其集群的搭建是分布式系统中的一个重要环节。此外，VMware的使用说明涉及到了虚拟机的创建和克隆，这是开发和测试中常用的技术。以下内容将详细阐述标题和描述中...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值