RocketMQ多主（noslave）集群搭建

RocketMQ多主（noslave）集群搭建

1. 环境准备

1.1 准备2台服务器地址为：

• 192.163.1.11

• 192.163.1.12

并且保证两台机器能供互相ping通

1.2 JDK环境11

sudo apt-get install openjdk-11-jdk

2. 安装RocketMQ

2.1 下载地址

https://mirrors.bfsu.edu.cn/apache/rocketmq/4.8.0/rocketmq-all-4.8.0-bin-release.zip

2.2 上传至服务器

上传至/usr/local/environment文件夹中

2.3 解压缩

unzip rocketmq-all-4.8.0-bin-release.zip
#并将文件夹重命名为rocketmq

3.RocketMQ适配jdk-11

由于当前版本和jdk-11版本有较多的冲突。如果要使用jdk-11就需要修改一些配置

3.1 修改runserver.sh文件

vim /usr/local/environment/rocketmq/bin/runserver.sh

• 删除配置属性：

  • -XX:+UseConcMarkSweepGC
  • -XX:+UseCMSCompactAtFullCollection
  • -XX:-UseParNewGC
  • -XX:+PrintGCDetails

• 修改Xloggc配置属性：

  • -Xloggc:改成-Xlog:gc:

• 替换Export配置：

  • 删除/注释：

    export CLASSPATH="${BASE_DIR}/lib/*:${BASE_DIR}/conf:${CLASSPATH}"
    

  • 替换成如下配置

    export CLASSPATH=${BASE_DIR}/lib/rocketmq-namesrv-4.8.0.jar:${BASE_DIR}/lib/*:${BASE_DIR}/conf:${CLASSPATH}
    

• JAVA_OPT属性

  • 删除如下配置：

    JAVA_OPT="${JAVA_OPT} -Djava.ext.dirs=${JAVA_HOME}/jre/lib/ext:${BASE_DIR}/lib"
    

  • 修改配置：

    #将原配置：
    JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
    
    #修改成如下:
    JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
    

3.2 修改runborker.sh文件

vim /usr/local/environment/rocketmq/bin/runbroker.sh

• 删除配置属性：

  • -XX:+PrintGCDateStamps
  • -XX:+PrintGCApplicationStoppedTime
  • -XX:+PrintAdaptiveSizePolicy
  • -XX:+PrintGCDetails

• 修改Xloggc配置属性：

  • -Xloggc:改成-Xlog:gc:

• 替换Export配置：

  #删除或者注释如下配置：
  export CLASSPATH="${BASE_DIR}/lib/*:${BASE_DIR}/conf:${CLASSPATH}"
  
  #替换成如下配置：
  export CLASSPATH=${BASE_DIR}/lib/rocketmq-broker-4.8.0.jar:${BASE_DIR}/lib/*:${BASE_DIR}/conf:${CLASSPATH}
  

• JAVA_OPT属性

  #删除或注释如下配置：
  JAVA_OPT="${JAVA_OPT} -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=30m"
  #删除或注释如下配置：
  JAVA_OPT="${JAVA_OPT} -Djava.ext.dirs=${JAVA_HOME}/jre/lib/ext:${BASE_DIR}/lib"
  
  
  #将原配置：
  JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g -Xmn4g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
  #修改成如下:
  JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
  

4. 配置RocketMQ

4.1 创建存储路径

mkdir /usr/local/environment/rocketmq/store
mkdir /usr/local/environment/rocketmq/store/commitlog
mkdir /usr/local/environment/rocketmq/store/consumequeue
mkdir /usr/local/environment/rocketmq/store/index

4.2 配置broker文件

4.2.1 配置broker-a.properties

vim /usr/local/environment/rocketmq/conf/2m-noslave/broker-a.properties

配置如下：

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=192.168.1.11:9876;192.168.1.12:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/environment/rocketmq/store
#只保留storePathRootDir路径，如果配置下列路径，重新启动broker会失败
#原因是文件路径已存在
#commitLog 存储路径
#storePathCommitLog=/usr/local/environment/rocketmq/store/commitlog
#消费队列存储路径存储路径
#storePathConsumeQueue=/usr/local/environment/rocketmq/store/consumequeue
#消息索引存储路径
#storePathIndex=/usr/local/environment/rocketmq/store/index
#checkpoint 文件存储路径
#storeCheckpoint=/usr/local/environment/rocketmq/store/checkpoint
#abort 文件存储路径
#abortFile=/usr/local/environment/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

4.2.1 配置broker-b.properties

与broker-a.properties唯一不同的就是brokerName属性

brokerName=broker-b

其他均相同

4.3 修改日志配置文件

mkdir -p /usr/local/environment/rocketmq/logs
cd /usr/local/environment/rocketmq/conf && sed -i 's#${user.home}#/usr/local/environment/rocketmq#g' *.xml

上段代码表示：进入conf目录，替换所有xml中的${user.home},保证日志路径正确

注意：sed -i在这里起一个批量替换的作用

sed -i 's#原字符串#新字符#g' 替换的文件

5. 启动MQ

5.1 启动NameServer【两台机器】

cd /usr/local/environment/rocketmq/bin
nohup sh mqnamesrv &

5.2 启动BrokerServer A ( 第1台)

cd /usr/local/environment/rocketmq/bin
nohup sh mqbroker -c /usr/local/environment/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &

5.3 启动BrokerServer B( 第2台)

cd /usr/local/environment/rocketmq/bin
nohup sh mqbroker -c /usr/local/environment/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &

结果：使用rocketmq-console浏览：

6.停止MQ

#关闭namesrv服务：
sh bin/mqshutdown namesrv
#关闭broker服务 ：
sh bin/mqshutdown broker