RocketMQ 集群搭建--双Master方案

最新推荐文章于 2024-04-20 15:13:43 发布
最新推荐文章于 2024-04-20 15:13:43 发布
阅读量94 收藏
点赞数
文章标签： 开发工具 运维 java
原文链接：http://www.cnblogs.com/cac2020/p/9446836.html
版权

安装环境

 　　jdk1.7 

　　alibaba-rocketmq-3.2.6.tar.gz

　　VM虚拟机redhat6.5-x64：192.168.1.201  192.168.1.202

　　Xshell4

部署方案

序号IP角色模式
1192.168.1.201nameServer1,brokerServer1Master1
2192.168.1.202nameServer2,brokerServer2Master2

 

安装步骤：【两台机器同样操作  以201为例】

步骤一：解压安装文件alibaba-rocketmq-3.2.6.tar.gz

[root@201 rocketmq]# tar -zxvf alibaba-rocketmq-3.2.6.tar.gz -C /usr/local
[root@201 rocketmq]# mv alibaba-rocketmq rocketmq

步骤二：修改配置

　　配置一：创建存储路径 用于存储队列 索引 提交日志等信息

[root@201 rocketmq]# mkdir -p /usr/local/rocketmq/store
[root@201 rocketmq]# mkdir -p /usr/local/rocketmq/store/commitlog
[root@201 rocketmq]# mkdir -p /usr/local/rocketmq/store/consumequeue
[root@201 rocketmq]# mkdir -p /usr/local/rocketmq/store/index

 

　　配置二：Hosts添加信息

IPNAME
192.168.1.201rocketmq-nameserver1
192.168.1.201rocketmq-master1
192.168.1.202rocketmq-nameserver2
192.168.1.202rocketmq-master2

 

[root@201 rocketmq]# vim /etc/hosts

重启网卡：service network restart

相互ping一下，在201机器上ping 192.168.1.202   ping  rocketmq-nameserver2   ping  rocketmq-master2 。 202机器上也一样。

配置三：RocketMQ配置文件：

/usr/local/rocketmq/conf/2m-noslave/下面默认有两个文件broker-a.properties、broker-b.properties,
我们这里设计的是双Master：一台机器启动一个broker即可,192.168.1.201 使用broker-a.properties 192.168.1.202 使用broker-b.properties

#201
vim /usr/local/rocketmq/conf/2m-noslave/broker-a.properties
#202
vim /usr/local/rocketmq/conf/2m-noslave/broker-b.properties
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样 broker-a.properties填broker-a  broker-b.properties填broker-b
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER  异步复制Master
#- SYNC_MASTER  同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH  异步刷盘
#- SYNC_FLUSH  同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

配置四：修改日志配置文件

[root@201 conf]# mkdir -p /usr/local/rocketmq/logs
[root@201 conf]# cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml

 

配置五：修改启动脚本参数 Xms和Xmx至少是1G  否则启动不起来  Xmn一般是前者的一半

vim /usr/local/rocketmq/bin/runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:PermSize=128m -XX:MaxPermSize=320m"

vim /usr/local/rocketmq/bin/runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:PermSize=128m -XX:MaxPermSize=320m"

 

步骤三：启动：先启动两台机器的NameServer，再启动两台机器的Borker，关机的时候顺序相反，先关闭两台机器的Broker，再关闭两台机器的Nameserver。在启动 BrokerServer 之前先关闭防火墙

启动一：NameServer  192.168.1.201 和 192.168.1.202
cd /usr/local/rocketmq/bin
nohup sh mqnamesrv &
#查看进程
jps
#查看日志
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

#启动二：BrokerServer A 192.168.1.201 
cd /usr/local/rocketmq/bin 
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 & 
netstat -ntlp 
jps 
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log 
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log 

#启动三：BrokerServer B 192.168.1.202 
cd /usr/local/rocketmq/bin 
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 & 
netstat -ntlp 
jps 
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log 
tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

步骤四：停止与重启Rocketmq

#停止
cd /usr/local/rocketmq/bin
sh mqshutdown broker
sh mqshutdown namesrv

#删除数据
rm -rf /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index
#按照上面步骤重启NameServer与BrokerServer

 

转载于:https://www.cnblogs.com/cac2020/p/9446836.html

weixin_30478619
关注
搭建RocketMQ主从异步集群
冲出仁川，走出马德里，故事还会再继续
06-10 555
为了追求更好的性能，RocketMQ的最佳实践方式都是在集群模式下完成的。
RocketMQ简介以及双Master模式的配置
u014182745的专栏
08-14 3183
1、RocketMQ介绍 （最开始RocketMQ是阿里研究出来的，在2016-11-28捐赠给了开源软件基金会Apache。）1.1. 简介 RocketMQ 是一款分布式、队列模型的消息中间件，具有以下特点：能够保证严格的消息顺序 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力 选用理由：  强调集群无单点，可扩展，任意一点高可用，水平可扩
RocketMq（双master）
冬阳
12-18 380
1.搭建环境(一个集群无salve，全是master   也就是配置文件中的  2m-noslave)       配置两台机器   172.30.50.211:9876 （broker-a.properties）  172.30.50.214:9876(broker-b.properties)         1. 单个Master       很显然，这种方式风险较大，一旦Broker...
RocketMQ-部署双Master模式
qq_40102178的博客
06-01 670
> unzip rocketmq-all-4.7.0-source-release.zip > cd rocketmq-all-4.7.0/ > mvn -Prelease-all -DskipTests clean install -U > cd distribution/target/rocketmq-4.7.0/rocketmq-4.7.0
rocketMQ-部署双Master方式
wen_005的博客
04-19 864
服务器环境 主要用到以下两台服务器来做双master集群 服务器： 序号 IP(公) IP(内) 用户名 密码 角色 模式 备注 1 192.168.1.151 ...
rocketmq双Master集群模式搭建
qq_36902628的博客
11-09 747
环境介绍 服务器ip 环境 安装的服务 主机名 10.10.10.136 centos7 nameServer+broker nameserver1/master1 10.10.10.138 centos7 nameServer+broker nameserv..
window进行rocketMQ集群搭建--简单无错版
weixin_45309354的博客
07-11 742
window集群rocketmq
RocketMQ-RocketMQ集群实践(搭建)
weixin_43874650的博客
12-03 1295
而且更严重的是，如果服务器出现了问题，比如磁盘坏了，那么存储在磁盘上的数据就会丢失。指令另一部分节点作为Slave节点，负责备份Master节点上的数据，这样，当Master节点出现故障时，在Slave节点上可以保留有数据备份，至少保证数据不会丢失。​ 为了便于观察，我们这次搭建一个2主2从的RocketMQ集群，并将主节点和节点都分别部署在不同的服务器上。我们这次采用2m-2s-async的方式搭建集群，需要在worker2和worker3上修改这个文件夹下的配置文件。这种集群存在单点故障。
四选一？这-4-种高可用-RocketMQ-集群搭建方案，我推荐最后一种！
最新发布
Z70czd的博客
04-20 717
在开头跟大家分享的时候我就说，面试我是没有做好准备的，全靠平时的积累，确实有点临时抱佛脚了，以至于我自己还是挺懊恼的。（准备好了或许可以拿个40k，没做准备只有30k+，你们懂那种感觉吗）如何准备面试？1、前期铺垫（技术沉积）程序员面试其实是对于技术的一次摸底考试，你的技术牛逼，那你就是大爷。大厂对于技术的要求主要体现在：基础，原理，深入研究源码，广度，实战五个方面，也只有将原理理论结合实战才能把技术点吃透。
rocketmq-all-4.8.0-source-release.zip
06-02
同时，由于RocketMQ是分布式系统，你还可以进一步研究其在集群环境下的部署和高可用方案，例如Master-Slave复制、HA服务等。 总之，`rocketmq-all-4.8.0-source-release.zip`提供了一个深入了解和定制RocketMQ的...
RocketMQ集群搭建
删繁就简三秋树
05-06 314
rocketmq 是一款分布式、队列模型的消息中间件-能保证消息的顺序消费、消息拉取模式、高效的订阅者水平扩展能力、实时消息订阅机制、亿级消息堆积能力。 选择的理由：强调集群无单节点，可扩展，任意一点高可用，水平可扩展。 海量消息堆积能力，消息堆积后，写入低延迟。 支持上万个队列。 消息失败重试机制。 消息可查询。 RocketMQ 集群方式 1.多Master 多Slave 模式， 异步复制 –...
RocketMQ双主双从环境搭建
weixin_39710170的博客
05-10 1410
这样当需要增加topic时就需要在web管理界面上#添加即可。#设置broker节点所在服务器的ip地址（**这个非常重要,主从模式下，从节点会根据主节点的brokerIP2来同步数据，#如果不配置，主从无法同步，brokerIP1设置为自己外网能访问的ip，服务器双网卡情况下必须配置，比如阿里云这$种，#主节点需要配置ip1和ip2，从节点只需要配置ip1即可）mkdir /data/public/rocketmq/slave/store/consumequeue:类似于数据库索引的文件结构，
RocketMQ双Master+双Slave集群环境搭建
江上飞鱼
09-13 1849
准备四台机子： 主机1 192.168.2.3 主机2 192.168.2.4 从机1 192.168.2.5 从机2 192.168.2.6 1、关闭四台机子的防火墙： service iptables stop2、修改四台机子的主机文件： vi /ect/hosts 192.168.2.3 rocke
rocketMq双Master双Slave，同步双写，异步刷盘
极客on之路
06-28 2326
https://blog.csdn.net/www_wangzheguilai/article/details/76566396
linux下安装rocketMQ双Master集群
BryantLmm的博客
11-05 995
title:linux下安装rocketMQ双Master集群date:2017年11月2日09:24:27我们需要选择两台虚拟机来完成双master的搭建，选用66,67一.配置hosts文件首先需要修改linux服务器上/etc/hosts文件nano /etc/hosts修改为67更改为127.0.0.1 localhost localhost.localdomain localhost4
RocketMQ笔记(2)_双主双从部署
刘涛的编程笔记
10-29 8771
RocketMQ作为分布式的消息中间件，生产环境中只有集群部署才有实际意义。本文将主要介绍双主双从的配置与及部署过程中可能遇到的问题，并假定每台机器均已安装好RocketMQ和JDK。
linux环境下rocketMq双master集群搭建
congge
06-07 2173
为什么要使用集群 在生产环境中，经常会有意外的情况发生，对于rocketmq也不例外，单节点情况下，如果出现网络闪断，服务器掉电或宕机之类的，如果服务器不能及时恢复，很可能造成丢消息的情况，因此，集群环境下可以保证服务的高可靠用性。 rocketMq集群模式 RocketMQ的集群部署方式有多种，其中包括单个Master、多个Master、多Master多Slave模式（异步复制）以及多Maste...
RocketMQ4.3 双master模式搭建
jessDL的博客
10-12 1004
一 环境说明： 主机1 centos7 192.168.214.130 主机2 centos7 192.168.214.132 RocketMQ4.3 源码获取地址：http://rocketmq.apache.org/release_notes/release-notes-4.3.0/ 二 准备工作 （1）修改两台服务器的hosts文件 vim /etc/hosts 加入以下内容...
rocketmq-externals-master.zip gitee
07-27
rocketmq-externals-master.zip是RocketMQ的一个开源扩展项目，可以从Gitee上下载。 Gitee是一个国内的开源代码托管平台，类似于GitHub。Gitee提供了对开源项目的托管、发布、协作等功能，也是许多国内开源项目的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值