rocketmq集群搭建

最新推荐文章于 2024-05-09 18:21:35 发布
最新推荐文章于 2024-05-09 18:21:35 发布
阅读量674 收藏 22
点赞数 8
文章标签： java-rocketmq rocketmq java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41196211/article/details/137091949
版权

1.准备两个linux服务器

        

10.230.198.120master1 slave2
10.230.198.121master2 slave1

2.配置host文件

        修改配置文件hosts    vim /etc/hosts

        #nameserver
        10.230.198.120   rocketmq-nameserver1
        10.230.198.121   rocketmq-nameserver2
        #broker 
        10.230.198.120   rocketmq-master1
        10.230.198.120   rocketmq-slave2
        10.230.198.121   rocketmq-master2
        10.230.198.121   rocketmq-slave1

        配置完成后重启网卡  systemctl restart network

3.防火墙配置

        #关闭防火墙
        systemctl stop firewalld.service
        #查看防火墙状态
        firewall-cmd --state
        或者systemctl status firewalld.service
        #禁止防火墙开机自启动
        systemctl disable firewalld.service

4.环境变量配置

        vim /etc/profile
        在profile文件的尾部加上如下命令
        #set rocketmq
        ROCKETMQ_HOME=/home/rocketMQ/rocketmq-4.9.3
        PATH=$PATH:$ROCKETMQ_HOME/bin
        export ROCKETMQ_HOME PATH
        输入保存wq!退出，立即生效 source /etc/profile

5.创建消息存放路径

        mkdir /home/rocketMQ/store
        mkdir /home/rocketMQ/store/commitlog
        mkdir /home/rocketMQ/store/consumequeue
        mkdir /home/rocketMQ/store/index

6.配置broker文件,双主双从，同步配置

        1)进入目录/home/rocketMQ/rocketmq-4.9.3/conf/2m-2s-sync，查看到如下文件

            broker-a.properties
            broker-a-s.properties
            broker-b.properties
            broker-b-s.properties

        2)broker-a.properties文件，在服务器10.230.198.120上配置

        #所属集群名字
            brokerClusterName=rocketmq-cluster
            #broker名字，注意此处不同的配置文件填写的不一样
            brokerName=broker-a
            #0 表示 Master，>0 表示 Slave
            brokerId=0
            #nameServer地址，分号分割
            namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
            #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
            defaultTopicQueueNums=4
            #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
            autoCreateTopicEnable=true
            #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
            autoCreateSubscriptionGroup=true
            #Broker 对外服务的监听端口
            listenPort=10911
            #删除文件时间点，默认凌晨 4点
            deleteWhen=04
            #文件保留时间，默认 48 小时
            fileReservedTime=120
            #commitLog每个文件的大小默认1G
            mapedFileSizeCommitLog=1073741824
            #ConsumeQueue每个文件默认存30W条，根据业务情况调整
            mapedFileSizeConsumeQueue=300000
            #destroyMapedFileIntervalForcibly=120000
            #redeleteHangedFileInterval=120000
            #检测物理文件磁盘空间
            diskMaxUsedSpaceRatio=88
            #存储路径
            storePathRootDir=/home/rocketMQ/store
            #commitLog 存储路径
            storePathCommitLog=/home/rocketMQ/store/commitlog
            #消费队列存储路径存储路径
            storePathConsumeQueue=/home/rocketMQ/store/consumequeue
            #消息索引存储路径
            storePathIndex=/home/rocketMQ/store/index
            #checkpoint 文件存储路径
            storeCheckpoint=/home/rocketMQ/store/checkpoint
            #abort 文件存储路径
            abortFile=/home/rocketMQ/store/abort
            #限制的消息大小
            maxMessageSize=65536
            #flushCommitLogLeastPages=4
            #flushConsumeQueueLeastPages=2
            #flushCommitLogThoroughInterval=10000
            #flushConsumeQueueThoroughInterval=60000
            #Broker 的角色
            #- ASYNC_MASTER 异步复制Master
            #- SYNC_MASTER 同步双写Master
            #- SLAVE
            brokerRole=ASYNC_MASTER
            #刷盘方式
            #- ASYNC_FLUSH 异步刷盘
            #- SYNC_FLUSH 同步刷盘
            flushDiskType=ASYNC_FLUSH
            #checkTransactionMessageEnable=false
            #发消息线程池数量
            #sendMessageThreadPoolNums=128
            #拉消息线程池数量
            #pullMessageThreadPoolNums=128

        3)broker-b-s.properties文件，在服务器10.230.198.120上配置

        #所属集群名字
            brokerClusterName=rocketmq-cluster
            #broker名字，注意此处不同的配置文件填写的不一样
            brokerName=broker-b
            #0 表示 Master，>0 表示 Slave
            brokerId=1
            #nameServer地址，分号分割
            namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
            #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
            defaultTopicQueueNums=4
            #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
            autoCreateTopicEnable=true
            #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
            autoCreateSubscriptionGroup=true
            #Broker 对外服务的监听端口
            listenPort=11011
            #删除文件时间点，默认凌晨 4点
            deleteWhen=04
            #文件保留时间，默认 48 小时
            fileReservedTime=120
            #commitLog每个文件的大小默认1G
            mapedFileSizeCommitLog=1073741824
            #ConsumeQueue每个文件默认存30W条，根据业务情况调整
            mapedFileSizeConsumeQueue=300000
            #destroyMapedFileIntervalForcibly=120000
            #redeleteHangedFileInterval=120000
            #检测物理文件磁盘空间
            diskMaxUsedSpaceRatio=88
            #存储路径
            storePathRootDir=/home/rocketMQ/store
            #commitLog 存储路径
            storePathCommitLog=/home/rocketMQ/store/commitlog
            #消费队列存储路径存储路径
            storePathConsumeQueue=/home/rocketMQ/store/consumequeue
            #消息索引存储路径
            storePathIndex=/home/rocketMQ/store/index
            #checkpoint 文件存储路径
            storeCheckpoint=/home/rocketMQ/store/checkpoint
            #abort 文件存储路径
            abortFile=/home/rocketMQ/store/abort
            #限制的消息大小
            maxMessageSize=65536
            #flushCommitLogLeastPages=4
            #flushConsumeQueueLeastPages=2
            #flushCommitLogThoroughInterval=10000
            #flushConsumeQueueThoroughInterval=60000
            #Broker 的角色
            #- ASYNC_MASTER 异步复制Master
            #- SYNC_MASTER 同步双写Master
            #- SLAVE
            brokerRole=SLAVE
            #刷盘方式
            #- ASYNC_FLUSH 异步刷盘
            #- SYNC_FLUSH 同步刷盘
            flushDiskType=ASYNC_FLUSH
            #checkTransactionMessageEnable=false
            #发消息线程池数量
            #sendMessageThreadPoolNums=128
            #拉消息线程池数量
            #pullMessageThreadPoolNums=128

        4)broker-b.properties文件，在服务器10.230.198.121上配置

        #所属集群名字
            brokerClusterName=rocketmq-cluster
            #broker名字，注意此处不同的配置文件填写的不一样
            brokerName=broker-b
            #0 表示 Master，>0 表示 Slave
            brokerId=0
            #nameServer地址，分号分割
            namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
            #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
            defaultTopicQueueNums=4
            #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
            autoCreateTopicEnable=true
            #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
            autoCreateSubscriptionGroup=true
            #Broker 对外服务的监听端口
            listenPort=10911
            #删除文件时间点，默认凌晨 4点
            deleteWhen=04
            #文件保留时间，默认 48 小时
            fileReservedTime=120
            #commitLog每个文件的大小默认1G
            mapedFileSizeCommitLog=1073741824
            #ConsumeQueue每个文件默认存30W条，根据业务情况调整
            mapedFileSizeConsumeQueue=300000
            #destroyMapedFileIntervalForcibly=120000
            #redeleteHangedFileInterval=120000
            #检测物理文件磁盘空间
            diskMaxUsedSpaceRatio=88
            #存储路径
            storePathRootDir=/home/rocketMQ/store
            #commitLog 存储路径
            storePathCommitLog=/home/rocketMQ/store/commitlog
            #消费队列存储路径存储路径
            storePathConsumeQueue=/home/rocketMQ/store/consumequeue
            #消息索引存储路径
            storePathIndex=/home/rocketMQ/store/index
            #checkpoint 文件存储路径
            storeCheckpoint=/home/rocketMQ/store/checkpoint
            #abort 文件存储路径
            abortFile=/home/rocketMQ/store/abort
            #限制的消息大小
            maxMessageSize=65536
            #flushCommitLogLeastPages=4
            #flushConsumeQueueLeastPages=2
            #flushCommitLogThoroughInterval=10000
            #flushConsumeQueueThoroughInterval=60000
            #Broker 的角色
            #- ASYNC_MASTER 异步复制Master
            #- SYNC_MASTER 同步双写Master
            #- SLAVE
            brokerRole=ASYNC_MASTER
            #刷盘方式
            #- ASYNC_FLUSH 异步刷盘
            #- SYNC_FLUSH 同步刷盘
            flushDiskType=ASYNC_FLUSH
            #checkTransactionMessageEnable=false
            #发消息线程池数量
            #sendMessageThreadPoolNums=128
            #拉消息线程池数量
            #pullMessageThreadPoolNums=128

        5)broker-a-s.properties文件，在服务器10.230.198.121上配置

        #所属集群名字
            brokerClusterName=rocketmq-cluster
            #broker名字，注意此处不同的配置文件填写的不一样
            brokerName=broker-a
            #0 表示 Master，>0 表示 Slave
            brokerId=1
            #nameServer地址，分号分割
            namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
            #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
            defaultTopicQueueNums=4
            #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
            autoCreateTopicEnable=true
            #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
            autoCreateSubscriptionGroup=true
            #Broker 对外服务的监听端口
            listenPort=11011
            #删除文件时间点，默认凌晨 4点
            deleteWhen=04
            #文件保留时间，默认 48 小时
            fileReservedTime=120
            #commitLog每个文件的大小默认1G
            mapedFileSizeCommitLog=1073741824
            #ConsumeQueue每个文件默认存30W条，根据业务情况调整
            mapedFileSizeConsumeQueue=300000
            #destroyMapedFileIntervalForcibly=120000
            #redeleteHangedFileInterval=120000
            #检测物理文件磁盘空间
            diskMaxUsedSpaceRatio=88
            #存储路径
            storePathRootDir=/home/rocketMQ/store
            #commitLog 存储路径
            storePathCommitLog=/home/rocketMQ/store/commitlog
            #消费队列存储路径存储路径
            storePathConsumeQueue=/home/rocketMQ/store/consumequeue
            #消息索引存储路径
            storePathIndex=/home/rocketMQ/store/index
            #checkpoint 文件存储路径
            storeCheckpoint=/home/rocketMQ/store/checkpoint
            #abort 文件存储路径
            abortFile=/home/rocketMQ/store/abort
            #限制的消息大小
            maxMessageSize=65536
            #flushCommitLogLeastPages=4
            #flushConsumeQueueLeastPages=2
            #flushCommitLogThoroughInterval=10000
            #flushConsumeQueueThoroughInterval=60000
            #Broker 的角色
            #- ASYNC_MASTER 异步复制Master
            #- SYNC_MASTER 同步双写Master
            #- SLAVE
            brokerRole=SLAVE
            #刷盘方式
            #- ASYNC_FLUSH 异步刷盘
            #- SYNC_FLUSH 同步刷盘
            flushDiskType=ASYNC_FLUSH
            #checkTransactionMessageEnable=false
            #发消息线程池数量
            #sendMessageThreadPoolNums=128
            #拉消息线程池数量
            #pullMessageThreadPoolNums=128

7.修改脚本文件

        1）vim /home/rocketMQ/bin/runbroker.sh

        # 开发环境JVM Configuration
            #============================================================
            JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn128m"

        2）vim /usr/local/rocketmq/bin/runserver.sh

        JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn128m -XX:PermSize=128m -XX:MaxPermSize=320m"

8.服务启动

        1）分别在10.230.198.120和10.230.198.121服务器上启动NameServer

            cd /home/rocketMQ/bin
            nohup sh mqnamesrv &

        2）启动broker集群

        在10.230.198.120，启动master1和slave2
        master1：
            cd /home/rocketMQ/bin
            nohup sh mqbroker -c /home/rocketMQ/rocketmq-4.9.3/conf/2m-2s-sync/broker-a.properties &
        slave2:
            cd /home/rocketMQ/bin
            nohup sh mqbroker -c /home/rocketMQ/rocketmq-4.9.3/conf/2m-2s-sync/broker-b-s.properties &
      在10.230.198.121，启动master2和slave1
      master2：
            cd /home/rocketMQ/bin
            nohup sh mqbroker -c /home/rocketMQ/rocketmq-4.9.3/conf/2m-2s-sync/broker-b.properties &
      slave1:
            cd /home/rocketMQ/bin
            nohup sh mqbroker -c /home/rocketMQ/rocketmq-4.9.3/conf/2m-2s-sync/broker-a-s.properties &

        3）启动后用jps可以查看进程

qq_41196211
关注
  • 8
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Rocketmq集群搭建
Kevin
02-28 341
Rocketmq集群搭建 拓扑 主机名 网卡名 IP 作用 mq-master01 ens33 192.168.162.10 broker-a mq-master02 ens33 192.168.162.11 broker-b mq-slave01 ens33 192.168.162.12 broker-a-s mq-slave02 ens33 192.168.162....
RocketMQ集群搭建
weixin_45203131的博客
08-28 492
消息消费的过程： Name Server是Broker的管理者，Broker会自动将自身的信息主动发送给Name Server。 生产消息：首先Producer首先向Name Server询问Broker的地址，然后将消息传递给Broker。 消费消息：Consumer消费消息则也需要指定需要消费的信息，而这个信息则存储在Broker中，所以Consumer消费之前要先向Name Server获取存储消息的Broker的地址，从而进行消费。 集群的工作流程： 1.启动NameServe...
系列十五（实战）、搭建RocketMQ集群（双主双从）
仰望星空，脚踏实地！安全感是自己给的，努力才是一辈子的安全感。
07-11 3111
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
RocketMQ_详细配置与使用详解
热门推荐
chuige2013的博客
03-27 3万+
1 MQ介绍 1.1为什么要用MQ 消息队列是一种“先进先出”的数据结构
2024年最新RocketMQ下载安装、集群搭建保姆级教程_rocketmq保姆级教程，看这篇文章就行了
最新发布
2401_83974607的博客
05-09 1104
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
RocketMQ集群部署
weixin_43941593的博客
06-09 2434
两台服务器，每台一个nameserver构成集群，broker集群双主双从。主机 容器名称 IP 与宿主机的端口映射两个宿主机上都有docker，并且创建了网桥docker-br0。
RocketMq的集群的搭建（2主2从异步复制集群模式）
健康平安的活着的专栏
06-05 2373
本案例采用2m-2s-async的方式搭建集群。实际项目中，为了达到高可用，一般会使用dleger。集群规划说明：nameserver是一个轻量级的注册中心，，直接启动即可。3台nameserver之间不需要通信，而是被请求方来关联3台nameserver的地址。机器角色配置在rocketmq的config目录下可以看到rocketmq建议的各种配置方式：2m-2s-async: 2主2从异步刷盘(吞吐量较大，但是消息可能丢失),
RocketMq-主从集群搭建
别浪
06-01 1911
复制5.1内容,修改brokerName=broker-a 为brokerName=broker-b即可。复制5.2内容,修改brokerName=broker-a 为brokerName=broker-b即可。下面配置只在node1节点上预先配置好。标题描述为该配置文件在那台服务器上使用。###broker名字，名字一样的节点就是一组主从节点。##broker名字，名字一样的节点就是一组主从节点。###所属集群名字，名字一样的节点就在同一个集群内。##所属集群名字，名字一样的节点就在同一个集群内。
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
在本压缩包中，你将找到搭建RocketMQ集群所需的全部资源，包括必要的jar包和war包。 首先，我们来了解一下RocketMQ集群的基本概念。在RocketMQ中，集群主要由NameServer、Broker和Producer/Consumer等角色组成。...
rocketmq集群搭建所需文件
02-10
rocketmq集群搭建所需文件，不要积分即可下载，下载后还请动下小手点个关注，支持一下作者，集群搭建详细步骤见https://blog.csdn.net/qq_40756113/article/details/122865394
高可用 RocketMQ 集群搭建.doc
08-24
高可用 RocketMQ 集群搭建 RocketMQ 是一款流行的开源消息队列系统，具有高性能、高可用性和低延迟等特点。为了确保 RocketMQ 集群的高可用性，需要对其进行合理的设计和部署。下面将详细介绍高可用 RocketMQ ...
rocketmq集群搭建步骤
03-04
rocketmq集群搭建步骤，具体的详细的各个步骤详细过程哈，谢谢
RocketMq集群搭建3——启动
01-07
cd /opt/rocketmq-all-4.3.0-bin-release # nohup sh bin/mqnamesrv & #启动每个服务器的nameserver # tail -f nohup.out The Name Server boot success　#输出此类信息，说明启动成功 启动broker 服务器Namserver1...
万字超详细解析：RocketMQ集群环境搭建
wdj_yyds的博客
05-04 2927
通过之前安装单台RocketMQ，并演示了消息的收发，已经基本了解了RocketMQ是怎么样工作的，下面就来搭建一个集群。
RocketMQ 集群搭建
涛涛之海
09-12 738
文章目录RocketMQ 集群搭建各角色介绍集群搭建方式集群特点集群模式1）单Master模式2）多Master模式3）多Master多Slave模式（异步）4）多Master多Slave模式（同步）双主双从(同步)集群搭建工作流程配置步骤(1) 修改 vim /etc/hosts(2) 重启网卡(3) 修改防火墙(4) 配置环境变量(5) 创建消息存储路径(6)broker 配置文件(7)修改启动脚本文件(8) 服务启动mqadmin 管理工具1 使用方式2 命令介绍1）`Topic`相关2）集群相关3
RocketMQ集群配置
u011197085的博客
07-05 1724
请注意，这些是默认的端口，你可以在RocketMQ的配置文件中修改这些端口。同时，如果你运行了多个broker实例或namesrv实例，那么每个实例需要使用不同的端口。在这种情况下，你可以分别为每个Broker实例创建一个配置文件，并在每个文件中指定相应的Namesrv地址、Broker名称和角色（Master或Slave）。例如，如果你使用了不同的配置文件或者命令选项，那么你需要在。在这些命令的输出中，你可以看到启动Namesrv和Broker的命令，以及关联的进程ID。
RocketMQ-手把手教你搭建集群
秃了也弱了
01-14 2759
目录 一、集群架构 二、准备rocketmqOS1主机 三、修改rocketmqOS1配置文件 配置文件位置 修改broker-a.properties 修改broker-b-s.properties 其它配置 四、准备rocketmqOS2主机 五、修改rocketmqOS2配置文件 修改broker-b.properties 修改broker-a-s.properties 六、启动服务器 启动NameServer集群 启动两个Master 启动两个Slave 七、mqad

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值