RocketMQ 分布式 集群

下载MQ并解压

  1. [01]# wget http://archive.apache.org/dist/rocketmq/4.7.1/rocketmq-all-4.7.1-bin-release.zip
  2. [01]# unzip rocketmq-all-4.7.1-bin-release.zip
  3. [01]# mv rocketmq-all-4.7.1-bin-release rocketmq-4.7.1
  4. [01]# cd rocketmq-4.7.1

根据机器配置调整RocketMq的内存值

  1. [01]# vim bin/runbroker.sh
  2. [01]# vim bin/runserver.sh

为避免启动报错以下各项调到1G以上 

  1. runbroker.sh内的配置项: JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx2g -Xmn1g"
  2. runserver.sh内的配置项: JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx2g -Xmn1g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

 二.配置多master多slave(2M-2S)模式,异步集群

进2m-2s-async目录

  1. [01]# cd /opt/rocketmq-4.7.1/conf/2m-2s-async
  2. 保留broker-a.properties和broker-b-s.properties 两个文件,其他的文件删除
  3. [01]# vim broker-a.properties
    #集群名称
    brokerClusterName=RocketMQCluster
    #broker名字,名字可重复,主从同名
    brokerName=broker-a
    #指定启动服务器ip,修改成自己的服务器ip
    brokerIP1=192.168.3.31
    #0 表示 Master,>0 表示 Slave
    brokerId=0
    #Broker 的角色,属于主还是从,如果brokerId=0,则是master;如果是brokerId=1,则是slave
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #nameServer地址,分号分割,修改成自己的服务器ip
    namesrvAddr=192.168.3.31:9876;192.168.3.32:9876
    #在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
    defaultTopicQueueNums=8
    #是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10911
    #删除文件时间点,默认凌晨 4点
    deleteWhen=04
    #文件保留时间,默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条,根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径,需要提前建好文件夹
    storePathRootDir=/data/rocketmq/store/broker-a
    #commitLog 存储路径,需提前建好文件夹
    storePathCommitLog=/data/rocketmq/store/broker-a/commitlog
    #消费队列存储路径存储路径,需提前建好文件夹
    storePathConsumeQueue=/data/rocketmq/store/broker-a/consumequeue
    #消息索引存储路径,需提前建好文件夹
    storePathIndex=/data/rocketmq/store/broker-a/index
    #checkpoint 文件存储路径,需提前建好文件夹
    storeCheckpoint=/data/rocketmq/store/checkpoint
    #abort 文件存储路径,需提前建好文件夹
    abortFile=/data/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNum=128
  • 4.[01]# vim broker-b-s.properties

    brokerClusterName=RocketMQCluster
    brokerName=broker-b
    brokerId=1
    fileReservedTime=48
    brokerRole=SLAVE
    flushDiskType=ASYNC_FLUSH
    listenPort=10920
    #nameserver地址,分号分割
    namesrvAddr=192.168.3.27:9876;192.168.3.31:9876
    brokerIP1=192.168.3.27
    #在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
    defaultTopicQueueNums=8
    #是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
    autoCreateSubscriptionGroup=true

    #存储路径,需提前建好文件夹
    storePathRootDir=/data/rocketmq/store/broker-b-s
    #commitLog 存储路径,需提前建好文件夹
    storePathCommitLog=/data/rocketmq/store/broker-b-s/commitlog
    #消费队列存储路径存储路径,需提前建好文件夹
    storePathConsumeQueue=/data/rocketmq/store/broker-b-s/consumequeue
    #消息索引存储路径,需提前建好文件夹
    storePathIndex=/data/rocketmq/store/broker-b-s/index
    #checkpoint 文件存储路径,需提前建好文件夹
    storeCheckpoint=/data/rocketmq/store/checkpoint
    #abort 文件存储路径,需提前建好文件夹
    abortFile=/data/rocketmq/store/abort

    #删除文件时间点,默认凌晨 4点
    deleteWhen=04
    #文件保留时间,默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条,根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    #diskMaxUsedSpaceRatio=88

2.创建对应目录

  1. [01]# mkdir -p /data/rocketmq/store/broker-a
    [01]# mkdir -p /data/rocketmq/store/broker-a/commitlog
    [01]# mkdir -p /data/rocketmq/store/broker-a/consumequeue
    [01]# mkdir -p /data/rocketmq/store/broker-a/index
    [01]# mkdir -p /data/rocketmq/store/checkpoint
    [01]# mkdir -p /data/rocketmq/store/abort

  2. [01]# mkdir -p /data/rocketmq/store/broker-b-s
    [01]# mkdir -p /data/rocketmq/store/broker-b-s/commitlog
    [01]# mkdir -p /data/rocketmq/store/broker-b-s/consumequeue
    [01]# mkdir -p /data/rocketmq/store/broker-b-s/index
    [01]# mkdir -p /data/rocketmq/store/checkpoint
    [01]# mkdir -p /data/rocketmq/store/abort

进另一台 2m-2s-async

  1. [02]# vim broker-b.properties
    #所属集群名字
    brokerClusterName=RocketMQCluster
    #broker名字,名字可重复,主从需同名
    brokerName=broker-b
    #指定启动服务器ip,修改成自己的服务器ip
    brokerIP1=192.168.3.32
    #0 表示 Master,>0 表示 Slave
    brokerId=0
    #Broker 的角色,属于主还是从,如果brokerId=0,则是master;如果是brokerId=1,则是slave
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #nameServer地址,分号分割,修改成自己的服务器ip
    namesrvAddr=192.168.3.31:9876;192.168.3.32:9876
    #在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
    defaultTopicQueueNums=8
    #是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10911
    #删除文件时间点,默认凌晨 4点
    deleteWhen=04
    #文件保留时间,默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条,根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径,需提前建好文件夹
    storePathRootDir=/data/rocketmq/store/broker-b
    #commitLog 存储路径,需提前建好文件夹
    storePathCommitLog=/data/rocketmq/store/broker-b/commitlog
    #消费队列存储路径存储路径,需提前建好文件夹
    storePathConsumeQueue=/data/rocketmq/store/broker-b/consumequeue
    #消息索引存储路径,需提前建好文件夹
    storePathIndex=/data/rocketmq/store/broker-b/index
    #checkpoint 文件存储路径,需提前建好文件夹
    storeCheckpoint=/data/rocketmq/store/checkpoint
    #abort 文件存储路径,需提前建好文件夹
    abortFile=/data/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

  2. [02]# vim broker-a-s.properties
    #所属集群名字
    brokerClusterName=RocketMQCluster
    #broker名字,名字可重复,主从同名
    brokerName=broker-a
    #指定启动服务器ip,修改成自己的服务器ip
    brokerIP1=192.168.3.32
    #0 表示 Master,>0 表示 Slave
    brokerId=1
    #Broker 的角色,属于主还是从,如果brokerId=0,则是master;如果是brokerId=1,则是slave
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=SLAVE
    #nameServer地址,分号分割,修改成自己的服务器ip
    namesrvAddr=192.168.3.31:9876;192.168.3.32:9876
    #在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
    defaultTopicQueueNums=8
    #是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10920
    #删除文件时间点,默认凌晨 4点
    deleteWhen=04
    #文件保留时间,默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条,根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径,需提前建好文件夹
    storePathRootDir=/data/rocketmq/store/broker-a-s
    #commitLog 存储路径,需提前建好文件夹
    storePathCommitLog=/data/rocketmq/store/broker-a-s/commitlog
    #消费队列存储路径存储路径,需提前建好文件夹
    storePathConsumeQueue=/data/rocketmq/store/broker-a-s/consumequeue
    #消息索引存储路径,需提前建好文件夹
    storePathIndex=/data/rocketmq/store/broker-a-s/index
    #checkpoint 文件存储路径,需提前建好文件夹
    storeCheckpoint=/data/rocketmq/store/checkpoint
    #abort 文件存储路径,需提前建好文件夹
    abortFile=/data/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

在每台机器上创建对应的目录:

  1. [02]# mkdir -p /data/rocketmq/store/broker-b
    [02]# mkdir -p /data/rocketmq/store/broker-b/commitlog
    [02]# mkdir -p /data/rocketmq/store/broker-b/consumequeue
    [02]# mkdir -p /data/rocketmq/store/broker-b/index
    [02]# mkdir -p /data/rocketmq/store/checkpoint
    [02]# mkdir -p /data/rocketmq/store/abort

  2. [02]# mkdir -p /data/rocketmq/store/broker-a-s
    [02]# mkdir -p /data/rocketmq/store/broker-a-s/commitlog
    [02]# mkdir -p /data/rocketmq/store/broker-a-s/consumequeue
    [02]# mkdir -p /data/rocketmq/store/broker-a-s/index
    [02]# mkdir -p /data/rocketmq/store/checkpoint
    [02]# mkdir -p /data/rocketmq/store/abort

MQ启动顺序

  1. 启动顺序:
    首先启动服务器A和服务器B的nameserver;
    然后启动服务器A的主broker-a,然后启动服务器B的从broker-a-s;
    再启动服务器B的主broker-b,最后启动服务器A的从broker-b-s;

  2. 启动相关命令:

    (1)启动多台nameserver(指定启动配置文件和启动日志):
    nohup sh bin/mqnamesrv >logs/mqnamesrv.log 2>&1 &

    (2)启动broker-a(指定启动配置文件和启动日志):
    nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties >logs/broker-a.log 2>&1 &

    (3)启动broker-a-s(指定启动配置文件和启动日志):
    nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties >logs/broker-a-s.log 2>&1 &

    (4)启动broker-b(指定启动配置文件和启动日志):
    nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties >logs/broker-b.log 2>&1 &

    (5)启动broker-b-s(指定启动配置文件和启动日志):
    nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties >logs/broker-b-s.log 2>&1 &

    (6)快速查看启动进程:
    jps

三. 配件启动MQ-WEB管理界面

  1. 配置maven环境

  2. [0]# cd /opt
    [0]# git clone https://github.com/apache/rocketmq-externals.git

  3. git clone https://gitee.com/mirrors/RocketMQ-Externals.git
    等待git完成…
    [0]# cd /opt/rocketmq-externals/rocketmq-console/src/main/resources
    [0]# vim application.properties
    server.contextPath=
    server.port=8080 #访问端口号

    #SSL setting
    #server.ssl.key-store=classpath:rmqcngkeystore.jks
    #server.ssl.key-store-password=rocketmq
    #server.ssl.keyStoreType=PKCS12
    #server.ssl.keyAlias=rmqcngkey
    
    #spring.application.index=true
    spring.application.name=rocketmq-console
    spring.http.encoding.charset=UTF-8
    spring.http.encoding.enabled=true
    spring.http.encoding.force=true
    logging.config=classpath:logback.xml
    #if this value is empty,use env value rocketmq.config.namesrvAddr  NAMESRV_ADDR         | now, you can set it in ops page.default localhost:9876q
    #MQ集群地址
    rocketmq.config.namesrvAddr=192.168.xx.x1:9876;192.168.xx.x2:9876
    #if you use rocketmq version < 3.5.8, rocketmq.config.isVIPChannel should be             false.default true
    rocketmq.config.isVIPChannel=true
    #rocketmq-console's data path:dashboard/monitor
    rocketmq.config.dataPath=/opt/mqconsole/data
    #set it false if you don't want use dashboard.default true
    rocketmq.config.enableDashBoardCollect=true
    #set the message track trace topic if you don't want use the default one
    rocketmq.config.msgTrackTopicName=
    rocketmq.config.ticketKey=ticket
    
    #Must create userInfo file: ${rocketmq.config.dataPath}/users.properties if the         login is required
    rocketmq.config.loginRequired=false 
    
  4. [0]# cd /opt/rocketmq-externals/rocketmq-console
    生成监控包
    [0]# mvn clean package -Dmaven.test.skip=true
    启动mqweb管理页
    [0]# nohup java -jar rocketmq-console-ng-2.0.0.jar > log.log 2>&1 & tail -f log.log
    访问web页面:http://xxx.xxx.xxx.xxx:8080/

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值