RocketMQ 集群同步双写部署

最新推荐文章于 2024-08-22 15:20:53 发布
最新推荐文章于 2024-08-22 15:20:53 发布
阅读量1.1k 收藏
点赞数
分类专栏： rocketMQ 文章标签： rocketMQ
原文链接：https://blog.csdn.net/wangwenzhe222/article/details/85994388
版权

本文大部分来自https://blog.csdn.net/wangwenzhe222/article/details/85994388，原作者写配置的时候写错了个配置，我修正过来了，按照配置做最后能正常启动。
环境:

centos 6 64位

jdk:1.8

rocketMQ版本:4.8

模式:两 master 两 slave 同步双写模式

IP 部署服务

192.168.168.101 NameServer –

192.168.168.102 NameServer –

192.168.168.101 broker-a master

192.168.168.101 broker-b-s slave

192.168.168.102 broker-b master

192.168.168.102 broker-a-s slave

1.首先安装好jdk并配置好环境变量(其它文章有,不再详述)

2.下载安装rocketMQ

不要选择先配置一个机器,直接拷贝到第二台机器这种方式!!!

不要选择先配置一个机器,直接拷贝到第二台机器这种方式!!!

不要选择先配置一个机器,直接拷贝到第二台机器这种方式!!!

要配置好第一个,再去配置第二个,因为总共就两台,直接复制容易出错(当然熟练的也可以复制后修改文件内容和文件名,初学者还是一步一个脚印)

官网下载链接:http://mirror.bit.edu.cn/apache/rocketmq/4.8.0/rocketmq-all-4.8.0-bin-release.zip

2.1下载后解压(两台机器都需要下载解压,如果linux没有安装.zip格式解压压缩软件的话,安装一个,安装命令:yum -y install zip unzip)

2.1.1解压后配置rocketMQ环境变量(两台都需要配置)

命令:vi /etc/profile

追加如下内容:

#set rocketMQ environment

export ROCKETMQ_HOME=/usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release

export PATH= P A T H : PATH: PATH:ROCKETMQ_HOME/bin

使修改生效

命令:source /etc/profile

2.1.2修改rocketMQ内存配置(两台都需要修改)

进入到rocketMQ的bin目录修改

命令:vi runserver.sh

将内存修改如下(默认分别是4g 8g,如果电脑配置达到那么高可以不用修改,否则启动不了,提示内存不足)

命令:vi runbroker.sh

将内存修改如下

2.2配置

2.2.1先配置192.168.168.101这台机器

进入配置文件目录

cd rocketmq-all-4.3.2-bin-release/conf/2m-2s-sync/

看一下都有哪些文件

ll

2.2.1.1修改broker-a.properties文件内容如下(其中ip要替换为你的服务器对应ip)

具体配置文字版:

#Below 7 lines is default config

#brokerClusterName=DefaultCluster

#brokerName=broker-a

#brokerId=0

#deleteWhen=04

#fileReservedTime=48

#brokerRole=SYNC_MASTER

#flushDiskType=ASYNC_FLUSH

#add time=2019-01-06 16:59

#所属集群名称，如果多个master，那么每个master配置的名称应该一致，要不然识别不了

brokerClusterName=rocketmq-cluster

#broker名称

brokerName=broker-a

#0 表示master，>0 表示slave

brokerId=0

#nameServer地址，分号隔开

namesrvAddr=192.168.168.101:9876;192.168.168.102:9876

#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数

defaultTopicQueueNums=4

#是否允许broker自动创建topic，建议线下开启，线上关闭

autoCreateTopicEnable=true

#是否允许broker自动创建订阅组，建议线下开始，线上关闭

autoCreateSubscriptionGroup=true

#broker对外服务的监听端口，

#同一台机器部署多个broker，端口号要不同，且端口号之间要相距大些

listenPort=10911

#删除文件的时间节点，默认凌晨4点

deleteWhen=04

#文件保留时间，默认48小时

fileReservedTime=120

#commitLog每个文件的大小，默认大小1g

mapedFileSizeCommitLog=1073741824

#consumeQueue每个文件默认存30w条，根据自身业务进行调整

mapedFileSizeConsumeQueue=300000

destroyMapedFileInterval=120000

redeleteHangedFileInterval=120000

#检查物理文件磁盘空间

diskMaxUsedSpaceRatio=88

#store存储路径，master与slave目录要不同

storePathRootDir=/usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release/data/store

#commitLog存储路径

storePathCommitLog=/usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release/data/store/commitlog

#限制的消息大小

maxMessageSize=65536

flushCommitLogLeastPages=4

flushConsumeQueueLeastPages=2

flushCommitLogThoroughInterval=10000

flushConsumeQueueThoroughInterval=60000

checkTransactionMessageEnable=false

#发消息线程池数

sendMessageThreadPoolNums=128

#拉去消息线程池数

pullMessageThreadPoolNums=128

#broker角色：

#ASYNC_MASTER 异步复制master

#SYNC_MASTER 同步复制master

#SLAVE 从

brokerRole=SYNC_MASTER

#刷盘方式

#ASYNC_FLUSH 异步刷盘

#SYNC_FLUSH 同步刷盘

flushDiskType=ASYNC_FLUSH

具体配置图片版:

2.2.1.2修改broker-b-s.properties文件内容如下(其中ip要替换为你的服务器对应ip)

配置文字版:

#Below 7 lines is default config

#brokerClusterName=DefaultCluster

#brokerName=broker-b

#brokerId=1

#deleteWhen=04

#fileReservedTime=48

#brokerRole=SLAVE

#flushDiskType=ASYNC_FLUSH

#add time=2019-01-06 17:01

brokerClusterName=rocketmq-cluster

brokerName=broker-b

brokerId=1

namesrvAddr=192.168.168.101:9876;192.168.168.102:9876

defaultTopicQueueNums=4

autoCreateTopicEnable=true

autoCreateSubscriptionGroup=true

listenPort=10950

deleteWhen=04

fileReservedTime=120

mapedFileSizeCommitLog=1073741824

mapedFileSizeConsumeQueue=300000

destroyMapedFileInterval=120000

redeleteHangedFileInterval=120000

diskMaxUsedSpaceRatio=88

storePathRootDir=/usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release/data/store/slave

storePathCommitLog=/usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release/data/store/slave/commitlog

maxMessageSize=65536

flushCommitLogLeastPages=4

flushConsumeQueueLeastPages=2

flushCommitLogThoroughInterval=10000

flushConsumeQueueThoroughInterval=60000

checkTransactionMessageEnable=false

sendMessageThreadPoolNums=128

pullMessageThreadPoolNums=128

brokerRole=SLAVE

flushDiskType=ASYNC_FLUSH

配置图片版:

2.2.1.3上面配置中用到了几个目录,需要创建下目录

命令:mkdir -p /usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release/data/store/slave/commitlog

2.2.2配置192.168.168.102

进入配置文件目录

cd rocketmq-all-4.3.2-bin-release/conf/2m-2s-sync/

再看看有什么配置文件,加深一下印象

ll

2.2.2.1修改broker-b.properties内容,这里看清楚文件名

配置文字版:

#Below 7 lines is default config

#brokerClusterName=DefaultCluster

#brokerName=broker-b

#brokerId=0

#deleteWhen=04

#fileReservedTime=48

#brokerRole=SYNC_MASTER

#flushDiskType=ASYNC_FLUSH

#add time=2019-01-06 17:06

brokerClusterName=rocketmq-cluster

brokerName=broker-b

brokerId=0

namesrvAddr=192.168.168.101:9876;192.168.168.102:9876

defaultTopicQueueNums=4

autoCreateTopicEnable=true

autoCreateSubscriptionGroup=true

listenPort=10911

deleteWhen=04

fileReservedTime=120

配置图片版:

2.2.2修改broker-a-s.properties文件内容

配置文字版:

#Below 7 lines is default config

#brokerClusterName=DefaultCluster

#brokerName=broker-a

#brokerId=1

#deleteWhen=04

#fileReservedTime=48

#brokerRole=SLAVE

#flushDiskType=ASYNC_FLUSH

#add time=2019-01-06 17:04

brokerClusterName=rocketmq-cluster

brokerName=broker-a

brokerId=1

namesrvAddr=192.168.168.101:9876;192.168.168.102:9876

defaultTopicQueueNums=4

autoCreateTopicEnable=true

autoCreateSubscriptionGroup=true

listenPort=10950

deleteWhen=04

fileReservedTime=120

mapedFileSizeCommitLog=1073741824

mapedFileSizeConsumeQueue=300000

destroyMapedFileInterval=120000

redeleteHangedFileInterval=120000

diskMaxUsedSpaceRatio=88

storePathRootDir=/usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release/data/store/slave

storePathCommitLog=/usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release/data/store/slave/commitlog

maxMessageSize=65536

flushCommitLogLeastPages=4

flushConsumeQueueLeastPages=2

flushCommitLogThoroughInterval=10000

flushConsumeQueueThoroughInterval=60000

checkTransactionMessageEnable=false

sendMessageThreadPoolNums=128

pullMessageThreadPoolNums=128

brokerRole=SLAVE

flushDiskType=ASYNC_FLUSH

配置图片版:

2.2.2.3上面配置中用到了几个目录,需要创建下目录

命令:mkdir -p /usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release/data/store/slave/commitlog

3.启动

3.1先启动192.168.168.101

3.1.1启动nameserver

进入到rocketMQ的bin目录

命令:cd …/…/bin

看一下都有什么命令

命令:ll

启动nameserver

命令:nohup sh mqnamesrv &

3.1.2启动broker-a Master

命令:nohup sh mqbroker -c /usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release/conf/2m-2s-sync/broker-a.properties &

3.1.3启动broker-b Slave

命令:nohup sh mqbroker -c /usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release/conf/2m-2s-sync/broker-b-s.properties &

3.2启动启动192.168.168.102

3.2.1启动nameserver

进入到rocketMQ的bin目录

cd …/…/bin

启动nameserver

命令:nohup sh mqnamesrv &

3.2.2启动broker-b Master

命令:

nohup sh mqbroker -c /usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release/conf/2m-2s-sync/broker-b.properties &

3.2.3启动broker-a Slave

命令:

nohup sh mqbroker -c /usr/local/src/rocketmq/rocketmq-all-4.3.2-bin-release/conf/2m-2s-sync/broker-a-s.properties &

4.查看状态

进入192.168.168.101的rocketMQ的bin目录后输入命令查看集群状态(进入到192.168.168.102的bin目录输入下面的命令效果一样;将rocketmq的bin配置到path后任意目录输入下面的命令均可)

命令:sh mqadmin clusterlist -n 192.168.168.101:9876

5.遇到的坑

坑1:

其实不算坑

就是安装的时候先安装好一个,另外一个直接scp复制第一个安装目录到第二台机器导致的问题

所以,不熟练的时候,一定要一个安装好再安装另一个,以防止出错,不要眼高手低,犯低级错误!

坑2.直接将Master的配置复制到Slave,只修改brokerId

这样会导致Slave无法启动,因为Slave的storePathRootDir会和另一个broker的Master冲突,错误提示是:lock failed, MQ already started

这个只需要保证Master和Slave的storePathRootDir不一样即可(broker-x 的Slave和broker-y的Master不能一致,本例中broker-a的Master不能和broker-b Slave一样)

6.在安装好集群后，可以使用rocketmq-console来更直观查看rocketmq信息，关于这个rocketmq-console，目前网上都是编译rocketmq-console的源码来打包，没有一个地方直接方便下载，于是我编译源码后打包，出来个jar包，放在csdn，供大家下载吧：https://download.csdn.net/download/lyd135364/14839639

隐0士
关注
专栏目录
RocketMQ
Ma longfei 的博客
09-22 1423
NameServer是一个简单的 Topic 路由注册中心，支持 Topic、Broker 的动态注册与发现。⽀持Broker的动态注册与发现。主要包括两个功能：Broker管理，NameServer接受Broker集群的注册信息并且保存下来作为路由信息的基本数据。然后提供⼼跳检测机制，检查Broker是否还存活；路由信息管理，每个NameServer将保存关于Broker集群的整个路由信息和⽤于客户端查询的队列信息。然后Producer和Conumser通过NameServer就可以知道整个Broker集
Nginx配置信息损毁又无备份时如何恢复
码代码的陈同学
04-20 3422
欢迎访问陈同学博客原文 本文介绍在Nginx配置信息出现问题后，在没有备份的情况下，如何利用Nginx进程的虚拟内存恢复配置信息。 问题背景 假设 /etc/nginx/site-available 下有 a.example.com.conf、b.example.com.conf 两个配置文件，用于对两个域名做代理。 当不小心拷贝了以下数据，粘贴后习惯性的敲了回车键，由于命令中包含了重定向命令...
RocketMQ文件的保留时间和删除时间点
最新发布
yh_zeng2的博客
08-22 180
RocketMQ文件的保留时间和删除时间点
nginx报错403 forbidden (13: Permission denied)
enthan809882的博客
11-04 1461
场景 nginx报错： “/data/index.html” is forbidden (13: Permission denied) 解决方案 可能的原因。 1、该文件没有权限，ll 查看下该文件的权限。 发现是有权限的。 2、ps -ef | grep ngnix，发现workder process的用户是nobody。 修改 nginx.conf 配置文件，改为： user root; 找到nginx目录： # 停止 ./nginx -s stop ; # 指定配置文件(如果不配，可能会报错No
解决Nginx出现403 forbidden (13: Permission denied)报错的四种方法
热门推荐
习惯的力量
07-18 60万+
虚拟机中通过yum安装nginx的，安装一切正常，但是访问时报403，nginx.config ps chmod reboot 于是查看nginx日志，路径为/var/log/nginx/error.log。打开日志发现报错Permission open() "/data/www/1.txt" failed (13: Permission denied), client: 192.
Nginx出现403 forbidden
weixin_44455388的博客
10-14 6500
nginx出现403 forbidden一般都是权限的问题 可能出现此问题的原因： 一、由于启动用户和nginx工作用户不一致所致 1.1查看nginx的启动用户，发现是nobody，而为是用root启动的 命令：ps aux | grep “nginx: worker process” | awk’{print $1}’ 1.2将nginx.config的user改为和启动用户一致， 命令：vi conf/nginx.conf 二、缺少index.html或者index.php文件，就是配置文件中in
rocketmq 集群部署
linxi7的博客
05-11 3114
架构图 部署环境 hostname ip 备注 mqnamesrv1 10.0.0.1 namesrv mqnamesrv2 10.0.0.2 namesrv mqbroker3 10.0.0.3 broker-master-a mqbroker4 10.0.0.4 broker-master-b mqbroker5 10.0.0.5 broker-slave-a mqbroker6 10.0.0.6 broker-slave-b 系统初始化 内核参数、防火墙等进行
RocketMQ集群部署
wangqingjia的博客
06-22 9677
RocketMQ是一款非常优秀的消息中间件，运用的场景也是非常丰富，且在各大公司运用中也非常广泛。但是它是如何进行部署的呢，以及它的高可用是如何实现的呢。那么就由我来为大家讲解一哈RocketMQ是如何进行部署的，后续会讲解底层架构设计。linux环境、JDK、RocketMQ环境包1.jdk 官方下载地址 Java Archive | Oracle2.RocketMQ 官方下载地址 Downloading the Apache RocketMQ Releases - Apache RocketMQ 3.这
RocketMQ集群部署——双主双从同步机制
天羽云龙的博客
02-22 1450
RocketMQ集群部署——双主双从同步机制
linux系统安装部署RocketMQ集群（同步双主双从）
qq_33719894的博客
12-02 3259
1. 环境准备 下面我们将要部署双master双slave同步复制的RocketMQ集群，这里需要准备两个虚拟机。 192.168.10.50和192.168.22 2.下载rocketmq安装包(根据自己系统源地址下载) wget http://mirror.bit.edu.cn/apache/rocketmq/4.4.0/rocketmq-all-4.9.2-bin-release.zip 3.建立数据储存区 mkdir date 以及子目录rocketmq 4.在conf下进入到 2..
rocketmq集群部署
08-11
### RocketMQ集群部署详解 #### 一、RocketMQ概述 RocketMQ是一款开源的分布式消息中间件，具有高吞吐量、低延迟、高可靠性的特点，适用于多种应用场景，如消息推送、日志收集、分布式事务处理等。在企业级应用中...
403 forbidden (13: Permission denied)
m0_73367097的博客
07-28 800
403 forbidden (13: Permission denied)
Nginx出现403 forbidden (13: Permission denied)报错
wind1_rain的博客
11-15 2638
Nginx 页面访问一直 403；
解决Nginx出现403 forbidden (13: Permission denied)的一种方法
DLRlike的博客
07-04 648
在使用源码安装完nginx后自定义自己的服务端口，出现错误，（我的日志路径为。通过查看nginx的启动用户，
访问Nginx报403 forbidden (13: Permission denied)
weixin_44956870的博客
07-01 428
sudo yum install epel-release（本人安装时没有执行该条命令）将SELINUX=enforcing 修改为 SELINUX=disabled 状态。修改selinux文件：vi /etc/sysconfig/selinux。重启nginx -c nginx.conf。停止nginx -s stop。1、【检查nginx配置】2、【关闭SELINUX】重启生效：reboot。
rocketmq同步双写
qq_19291967的博客
04-15 1510
配置域名12192.168.241.101 paascloud-rocketmq-001192.168.241.102 paascloud-rocketmq-002下载12wget http://ftp.jaist.ac.jp/pub/apache/rocketmq/4.2.0/rocketmq-all-4.2.0-bin-release.zipscp rocketmq-all-4.2.0-bin...
nginx配置文件被删怎么找回_Nginx-恢复nginx.conf 为默认的配置环境
weixin_32572673的博客
01-28 7082
nginx.conf是Nginx默认的配置文件，如果把这个文件误删了或是不注意损坏了再或者是想直接用nginx的原始配置文件重新进行环境的配置，在这里我们应该怎么办呢！不要急慢慢向下看，其时nginx在默认配置目录下面存在一个原始的nginx.conf备份文件，名字：nginx.conf.default，我们可以复制这个文件并重命名为nginx.conf，如果这个文件让你误删掉了，那也可以复制下面...
RocketMQ 4.7.1集群部署：双主双从与多主多从异步复制详解
总结来说，选择双主双从模式（异步复制）作为RocketMQ集群的部署策略，能够满足大部分场景的需求，兼顾了可用性和实时性。在实际部署过程中，需要根据业务需求和服务器资源来配置具体的服务器角色和磁盘策略。同时，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值