RocketMq 集群搭建 部署 (2m-2s-async)(二)

最新推荐文章于 2024-05-09 18:21:35 发布
置顶 最新推荐文章于 2024-05-09 18:21:35 发布
阅读量1.6w 收藏 76
点赞数 18
分类专栏： java系列 中间件 文章标签： rocketmq 中间件 集群部署 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40533111/article/details/84451219
版权

原文链接:https://blog.csdn.net/weixin_40533111/article/details/84451219 作者四月天五月雨^_^，转载请注明出处，谢谢

前言

本文基于最新版rocketmq 4.3.2搭建,2个节点,A节点部署A-m和B-s,B节点部署A-s和B-m
功能原理和集群可参考:中文文档 和roketmq学习 实战(三) 下篇:顺序消息和事务消息

目录

1.准备环境
2.开始搭建

正文

1.准备环境

1.linux服务器2台(centos7)
2.maven(3.5以上)
3.jdk(本文使用的1.8(有人说使用系统自带的可能导致一些问题,未测试))
4.工具:使用的xshell+xftp
部署结构图如下:
在这里插入图片描述

2.开始搭建

1.下载安装包并上传

从apache官网下载rocketmq二进制包安装包并上传到节点1(192.168.229.5),地址: http://rocketmq.apache.org/release_notes/release-notes-4.3.2/
在这里插入图片描述

2.解压

解压并更改文件的目录为rocketmq

unzip rocketmq-all-4.3.2-bin-release.zip

在这里插入图片描述

3.修改配置文件

rocketmq默认给出了三种建议配置模式
  1. 2m-2s-async(主从异步),----本文采用这种
  2. 2m-2s-sync(主从同步)
  3. 2m-noslave(仅master)
    在这里插入图片描述
修改2m-2s-async下的配置文件

修改哪个都行,只需要启动时指定配置文件即可,一般符合命名约束
注意:

  1. autoCreateTopicEnable=true,建议线下开启测试,线上关闭
  2. 同一个机器上启动多个broker时,需使用不同的broker配置文件来启动实例,
    eg节点1启动一个a-m和b-s,使用broker-a.properties和broker-b-s.properties
  3. listenPort默认为10911,当一个机器上启动多个broker示例时,需区分开端口
  4. broker启动时,默认内存设置比较大,改成适合机器的,细节可看步骤6
  5. 当一个节点启动多个broker实例时,存储路径如果显示的设置,则需要指定不同的storePath路径,(不设置的话,默认不同)
    在这里插入图片描述

3.1修改broker-a.properties主要内容为如下:

    #所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #nameServer地址，分号分割
    namesrvAddr=192.168.229.5:9876;192.168.229.6:9876
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10911
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/rocketmq/store/broker-a
    #commitLog 存储路径
    storePathCommitLog=/usr/local/rocketmq/store/broker-a/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/rocketmq/store/broker-a/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/rocketmq/store/broker-a/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

3.2修改broker-b-s.properties主要内容为如下:

    #所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，名字可重复,为了管理,每个master起一个名字,他的slave同他,eg:Amaster叫broker-a,他的slave也叫broker-a
    brokerName=broker-b
    #0 表示 Master，>0 表示 Slave
    brokerId=1
    #nameServer地址，分号分割
    namesrvAddr=192.168.229.5:9876;192.168.229.6:9876
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口,
    listenPort=10920
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/rocketmq/store/broker-b-s
    #commitLog 存储路径
    storePathCommitLog=/usr/local/rocketmq/store/broker-b-s/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/rocketmq/store/broker-b-s/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/rocketmq/store/broker-b-s/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

4.配置第二台机器(192.168.229.6)

  1. 本文使用的克隆虚拟机,可快速获取一个与原机器一样的机器,因为完全一样,需要更改下mac地址,如果使用静态ip,改下网关的配置即可,手动重新搭建一台当然也可以
  2. 配置同上步,更改ip和broker具体信息即可

5.启动nameServer

  1. 上述配置文件中指定了commitLog,队列,日志等的存储路径,创建该文件夹
节点1执行:
 mkdir -p /usr/local/rocketmq/store/broker-a /usr/local/rocketmq/store/broker-a/nsumequeue /usr/local/rocketmq/store/broker-a/commitlog /usr/local/rocketmq/store/broker-a/index /usr/local/rocketmq/logs /usr/local/rocketmq/store/broker-b-s /usr/local/rocketmq/store/broker-b-s/nsumequeue /usr/local/rocketmq/store/broker-b-s/commitlog /usr/local/rocketmq/store/broker-b-s/index
 节点2执行:
 mkdir -p /usr/local/rocketmq/store/broker-a-s /usr/local/rocketmq/store/broker-a-s/nsumequeue /usr/local/rocketmq/store/broker-a-s/commitlog /usr/local/rocketmq/store/broker-a-s/index /usr/local/rocketmq/logs /usr/local/rocketmq/store/broker-b /usr/local/rocketmq/store/broker-b/nsumequeue /usr/local/rocketmq/store/broker-b/commitlog /usr/local/rocketmq/store/broker-b/index

2.启动节点1的nameServer(192.168.229.5)

nohup sh /usr/local/rocketmq/bin/mqnamesrv >/usr/local/rocketmq/logs/mqnamesrv.log 2>&1 &

将日志文件输出到指定文件,再进行日志查看,jps 等进行java进程查看,结果符合预期
在这里插入图片描述
3. 启动节点2的nameServer(192.168.229.5)
步骤如节点1,启动成功
在这里插入图片描述

6.启动broker

  1. 启动节点1的broker-a的master,对应的配置文件broker-a.properties
    启动多个实例时,指定对应的配置文件
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a.properties > /usr/local/rocketmq/logs/broker-a.log 2>&1 &

在这里插入图片描述
默认配置的内存较大,因为部署的是虚拟机,改小些

vi /usr/local/rocketmq/bin/runbroker.sh

在这里插入图片描述
再次启动broker-a
在这里插入图片描述

  1. 启动节点2的broker-a-s
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a-s.properties > /usr/local/rocketmq/logs/broker-a-s.log 2>&1 &
  1. 启动节点2的broker-b
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-b.properties > /usr/local/rocketmq/logs/broker-b.log 2>&1 &

在这里插入图片描述

  1. 启动节点1的broker-b-s
nohup sh /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-b-s.properties > /usr/local/rocketmq/logs/broker-b-s.log 2>&1 &

在这里插入图片描述

  1. 查看集群的启动状况:四个节点,符合预期,至此,集群初版搭建完毕
    在这里插入图片描述

7.启动web管理界面

rocketmq提供多种管理方式,命令行和界面等,
apache提供一个开源的扩展项目: https://github.com/apache/rocketmq-externals 里面包含一个子项目rocketmq-console,配置下,打个包就可以用了
在这里插入图片描述

  1. 这是一个springboot项目,默认名称服务(rocketmq.config.namesrvAddr)为空,需改为自己的
    在这里插入图片描述
    2.使用maven打包
mvn clean package -Dmaven.test.skip=true

在这里插入图片描述

  1. 上传到服务器启动即可java -jar启动
java -jar rocketmq-console-ng-1.0.0.jar >/usr/local/rocketmq/logs/mq-console.log 2>&1 &
  1. 页面验证
    在这里插入图片描述
    至此搭建完毕

春花秋月何时了？

往事知多少？

小楼昨夜又东风，故国不堪回首月明中。

雕栏玉砌应犹在，只是朱颜改。

问君能有几多愁？恰似一江春水向东流。

四月天五月雨
关注
  • 18
    点赞
  • 踩
  • 76
    收藏
    觉得还不错? 一键收藏
  • 18
    评论
专栏目录
RocketMQ集群部署文档（2m-2s-async模式）
从前不爱吃面的大叔
11-20 6418
第一章、安装文件的准备 1、64bit OS, Linux/Unix/Mac is recommended; 2、64bit JDK 1.8+; 3、Maven 3.2.x 4、Git 第二章、集群安装 JDK每台机器都需要安装，maven和git只需要一台安装即可，编译好rocketmq之后使用scp命令拷贝到其他机器。   1、安装64位jdk配置环境变量 J
rocketmq集群（一），基于centos7搭建rocketmq集群-2m-2s-async
he_xin2009的专栏
04-28 1819
rocketMq两主两从(2m-2s-async) 多主多从（）异步刷盘集群
2024年最新RocketMQ下载安装、集群搭建保姆级教程_rocketmq保姆级教程，看这篇文章就行了
最新发布
2401_83974607的博客
05-09 809
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
RocketMQ 4.9.1 性能优化 源码剖析
金甲虫的博客
01-31 1376
RocketMQ 4.9.1 版本针对 Broker 做了一些性能优化，这一批 PR 都挂载 [ISSUE#2883](https://github.com/apache/rocketmq/issues/2883) 下。
RocketMQ 2m-2s-async搭建
w907645377的博客
02-18 1147
RocketMQ 2m-2s-async搭建 两主两从异步复制搭建
linux单机部署rocketmq集群
郭靖宇的个人博客
06-15 446
云服务器单机部署rocketmq2主2从集群
两台电脑搭建RocketMQ 2master2slave-异步复制 集群
01-07
两台电脑搭建RocketMQ 2master2slave-异步复制 集群 每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下： 优点：即使磁盘损坏，消息丢失的...
mongodb-async-driver-2.0.1 jar包
07-28
mongodb-async-driver-2.0.1 jar包
async-ssh2-lite
05-30
异步 ssh2 精简版例子斯莫尔开发 cargo test --all-features --all -- --nocapture && \cargo clippy --all -- -D clippy::all && \cargo fmt --all -- --check cargo build-all-featurescargo test-all-features --...
async-web-server-cpp ros2
08-14
async_web_server_cpp在ros2环境下的源代码包，下载可以直接编译使用，详细用法可以参看相关文章
RocketMQ集群部署1
08-04
2. 编辑BrokerServer的配置文件，例如`/opt/rocketmq/apache-rocketmq-all/conf/2m-noslave/broker-a.properties`，添加`namesrvAddr`配置项，指定NameServer的地址，如`namesrvAddr=172.16.150.143:9876;...
Apache RocketMQ 4.9.1 高性能优化之路
u013527895的博客
10-01 718
经过社区的投票，Apache RocketMQ 秋天的第一个版本 4.9.1 如约而至，该版本中最值得关注的是高性能优化这块，针对 Broker 端的性能，特别是对小消息的生产性能进行了针...
RocketMQ初探(五)之RocketMQ4.2.6集群部署（单Master+双Master+2m+2s+async异步复制）
weixin_30387663的博客
08-10 158
　　以下部署方式结合众多博友的博客，经过自己一步一步实际搭建，如有雷同，侵权行为，请见谅。。。其中遇到不少的坑，希望能帮到更多的人，现在很少能找到一份完整版4.2.6版本的搭建教程了，如果你有幸遇见，那么我们必定前世有缘。进入正题…… 　　首先，官方推荐有三种部署方式：　　 多Master模式（2m-noslave） 一个集群无Slave，全是Master，例如2个Master或者3个Mas...
linux中查看集群节点master,RocketMQ集群生产环境master节点节点优雅下线
weixin_29041443的博客
05-14 1219
1，现状描述由于某些原因，导致rocketmq集群中某个master节点不能正常服务，需要为master节点做流量迁移动作，已确保消息不丢失配置策略为：异步刷盘主从异步复制如果直接下线该master，由于主从异步复制，可能导致部分消息来不及复制到slave造成消息丢失。所以该方案不可行。另一种方案选择：关闭该broker的写入权限，待该broker不再有写入和消费时，再下线该节点。2.关闭brok...
linux系统安装部署RocketMQ集群（同步双主双从）
qq_33719894的博客
12-02 3167
1. 环境准备 下面我们将要部署双master双slave同步复制的RocketMQ集群，这里需要准备两个虚拟机。 192.168.10.50和192.168.22 2.下载rocketmq安装包(根据自己系统源地址下载) wget http://mirror.bit.edu.cn/apache/rocketmq/4.4.0/rocketmq-all-4.9.2-bin-release.zip 3.建立数据储存区 mkdir date 以及子目录rocketmq 4.在conf下进入到 2..
RocketMq： Linux环境-单机部署和主从集群部署
喜欢历史的码农
12-05 667
说明：rocketmq需要jdk环境。（1）下载jdk安装包https://www.oracle.com/technetwork/java/javase/archive-139210.html 下载jdk，这边选择的是jdk-8u144-linux-x64.tar.gz（2）下载rocketmq安装包http://rocketmq.apache.org/dowloading/releases/ 下载RocketMQ，这边选择的版本是rocketmq-all-4.7.0-bin-release.zip（1）上
【Rocket MQ简介和多节点部署】
Edward_hjh的博客
03-30 870
RocketMQ是一个开源的分布式消息中间件，最初由阿里巴巴集团开发。它的设计目标是为了在高并发、高吞吐量的场景下，实现可靠的消息传输，并且具有良好的可伸缩性和可扩展性。RocketMQ支持多种消息模式，包括同步、异步、单向和定时消息。同时，RocketMQ还具有、分布式部署等优点，可以在众多领域中广泛应用，比如电商、金融、物流等。RocketMQ目前已经成为了Apache软件基金会下的顶级开源项目之一，并得到了全球广泛的应用和认可。
RocketMQ-核心篇(1)-软件安装
TianXinCoord的博客
05-15 896
这里写自定义目录标题RocketMQ系列说明一、RocketMQ下载二、RocketMQ安装三、RocketMQ启动3.1 Linux3.2 Windows四、RocketMQ控制台五、安全配置5.1 公网访问5.2 修改端口 RocketMQ系列说明 本系列主要更新RocketMQ核心基础 & SringBoot整合使用 & 源码分析，所有文章内容均为个人亲测实践，有错误的地方欢迎大家批评指正 参考文章说明：除了官网文档，如果有需要资料书籍的朋友评论留下邮箱有时间给大家发过去 尚
Linux查看和修改DNS地址
lingyun1987的博客
05-08 3572
命令,nslookup命令是一个网络工具，用于查询域名系统（DNS）中的DNS记录。可以使用nslookup命令查看指定域名的IP地址，查看指定IP地址的域名，查看MX记录等。命令查看DNS记录：host命令是一个简单的DNS查询工具，可以用来查询指定域名的IP地址，查看指定IP地址的域名，查看MX记录等。命令,dig命令是一个强大的DNS查询工具，可以用来查询DNS记录，包括A记录、MX记录、NS记录等。修改 /etc/sysconfig/network-scripts/ifcfg-eth0文件。
android-async-http.jar
11-17
android-async-http.jar是一个开源的第三方库，用于在Android应用中进行网络请求和数据传输。 这个库提供了简单易用的API，可以帮助我们完成各种网络请求任务，如GET、POST等。它可以用于与服务器进行数据交互，获取远程数据，以及上传文件等功能。 android-async-http.jar的使用非常灵活，可以根据需要设置请求参数、请求头部、超时时间等，并且支持异步请求，可以在后台线程进行网络操作，不会阻塞UI线程，保证应用的流畅性和用户体验。 此外，这个库还支持多种回调方法，在请求成功或失败时，我们可以通过回调方法获取服务器返回的结果或错误信息。这使得我们能够根据不同的情况进行相应的处理，如更新UI界面、持久化数据等。 android-async-http.jar还提供了对Cookie的支持，可以保存和管理Cookie，方便进行用户认证和保持登录状态。 总而言之，android-async-http.jar是一个功能强大、易于使用的库，可以帮助开发者简化网络请求的操作，提高开发效率和代码质量。它在Android应用中广泛应用，被众多开发者所使用和推崇。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值