rocketMQ的伪集群部署及控制台部署

已于 2023-03-08 10:01:12 修改
阅读量4k 收藏 4
点赞数 2
分类专栏： 中间件相关 文章标签： java-rocketmq rocketmq jvm
于 2022-10-12 15:37:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36933421/article/details/127243740
版权

一、RocketMQ安装

前提

需要先安装jdk环境，参照linux配置jdk

1、安装包下载

4.9.3版本：官网地址，也可以通过修改版本号获取自己想要的版本；百度网盘下载，提取码：1km8

2、安装

上传安装包到服务器，解压缩unzip rocketmq-all-4.9.3-bin-release.zip，进入解压缩的到的目录，pwd得到完整路径，编辑环境变量vi /etc/profile，添加如下内容

#rocketMQ配置
export ROCKETMQ_HOME=/home/ysgs/tools/rocketmq/rocketmq-4.9.3
export PATH=$ROCKETMQ_HOME/bin:$PATH

修改完成后，source /etc/profile让环境变量生效
RocketMQ需要启动两个服务，nameserver（相当于邮局，默认JVM使用内存4G）和broker（相当于信箱，默认JVM使用内存8G），因此需要先修改内存配置，切换到bin目录下，找到runserver.sh脚本，找到如下内容
在这里插入图片描述
修改为下图配置
在这里插入图片描述
找到runbroker.sh脚本，修改如下内容：
在这里插入图片描述
修改为JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m"

3、启动

先启动nameserver，进入bin目录，启动nameservernohup sh mqnamesrv &，查看日志，tail -f nohup.out发现如下图，启动成功
在这里插入图片描述
启动broker，在conf目录下有个broker.conf的配置文件，是broker的一些相关配置，例如开启自动创建topicautoCreateTopicEnable=true等等，这些在官网可以具体学习。启动broker并链接到nameservernohup sh mqbroker -n localhost:9876 &，查看日志，启动成功在这里插入图片描述

4、关闭

先关闭broker再关闭nameserver，命令如下，为了尽可能保持集群上namesrv的一致性

# 1.关闭Broker
sh bin/mqshutdown broker
# 2、关闭NameServer
sh bin/mqshutdown namesrv

二、RockerMQ管理控制台

1、下载代码并打包

git地址：https://github.com/apache/rocketmq-dashboard，将代码拉到本地，mvn clean package -Dmaven.test.skip=true运行打包得到jar包
百度网盘下载控制台 提取码：gs1d

2、部署

上传jar包到服务器，nohup java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar --server.port=8881 --rocketmq.config.namesrvAddr=localhost:9876 &运行jar包，访问控制台页面192.168.136.128:8881，如果访问失败，记得关闭虚拟机的防火墙
在这里插入图片描述

三、伪集群部署

由于只做了一台虚拟机，因此通过更改端口的方式实现伪集群的部署，实际上真正的集群只是把端口变化体现在主机ip上。
在这里插入图片描述

1、配置

模拟A和B两台主机，在rocket的安装目录conf下，给了三份示例，我们在2m-2s-sync（双主双从同步复制异步刷盘）文件夹下修改，A主机master节点配置如下：

###############################################################################
#伪集群A主机master配置
brokerIP1=192.168.136.128
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
listenPort=10911
storePathRootDir=/home/ysgs/store/a-m
namesrvAddr=192.168.136.128:9876;192.168.136.128:9875

A主机的slave节点配置如下

#伪集群A主机slave配置
brokerIP2=192.168.136.128
brokerClusterName=DefaultCluster
brokerName=broker-a
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH
listenPort=10811
storePathRootDir=/home/ysgs/store/a-s
namesrvAddr=192.168.136.128:9876;192.168.136.128:9875

B主机的master节点配置如下

brokerIP3=192.168.136.128
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=0
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
listenPort=10711
storePathRootDir=/home/ysgs/store/b-m
namesrvAddr=192.168.136.128:9876;192.168.136.128:9875

B主机的slave节点配置如下

brokerIP4=192.168.136.128
brokerClusterName=DefaultCluster
brokerName=broker-b
brokerId=1
deleteWhen=04
fileReservedTime=48
brokerRole=SYNC_SLAVE
flushDiskType=ASYNC_FLUSH
listenPort=10611
storePathRootDir=/home/ysgs/store/b-s
namesrvAddr=192.168.136.128:9876;192.168.136.128:9875

namesrv配置文件，namesrv.properties文件，指定启动端口

listenPort=9876

配置详解

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

2、启动集群

启动namesrv脚本

nohup sh /home/ysgs/tools/rocketmq/rocketmq-4.9.3/bin/mqnamesrv -c /home/ysgs/tools/rocketmq/rocketmq-4.9.3/conf/namesrv1.properties > /home/ysgs/tools/rocketmq/rocketmq-4.9.3/namesrv1.log 2>&1 &
nohup sh /home/ysgs/tools/rocketmq/rocketmq-4.9.3/bin/mqnamesrv -c /home/ysgs/tools/rocketmq/rocketmq-4.9.3/conf/namesrv2.properties > /home/ysgs/tools/rocketmq/rocketmq-4.9.3/namesrv2.log 2>&1 &

启动broker脚本

nohup sh /home/ysgs/tools/rocketmq/rocketmq-4.9.3/bin/mqbroker -c /home/ysgs/tools/rocketmq/rocketmq-4.9.3/conf/2m-2s-sync/broker-a.properties > /home/ysgs/tools/rocketmq/rocketmq-4.9.3/brokerA-m.log 2>&1 &
nohup sh /home/ysgs/tools/rocketmq/rocketmq-4.9.3/bin/mqbroker -c /home/ysgs/tools/rocketmq/rocketmq-4.9.3/conf/2m-2s-sync/broker-b-s.properties > /home/ysgs/tools/rocketmq/rocketmq-4.9.3/brokerB-s.log 2>&1 &

nohup sh /home/ysgs/tools/rocketmq/rocketmq-4.9.3/bin/mqbroker -c /home/ysgs/tools/rocketmq/rocketmq-4.9.3/conf/2m-2s-sync/broker-b.properties > /home/ysgs/tools/rocketmq/rocketmq-4.9.3/brokerB-m.log 2>&1 &
nohup sh /home/ysgs/tools/rocketmq/rocketmq-4.9.3/bin/mqbroker -c /home/ysgs/tools/rocketmq/rocketmq-4.9.3/conf/2m-2s-sync/broker-a-s.properties > /home/ysgs/tools/rocketmq/rocketmq-4.9.3/brokerA-s.log 2>&1 &

启动mq控制台

nohup java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar --server.port=8881 --rocketmq.config.namesrvAddr=localhost:9876,localhost:9875 &

在这里插入图片描述
这就是伪集群的搭建方式，真正的集群至少两台主句，每台主机分别启动一个namesrv，主机上AMaster和BSlave为一组broker启动，配置改成对应主机ip即可。

四、测试

export NAMESRV_ADDR=localhost:9876
#生产者，bin目录下执行
./tools.sh org.apache.rocketmq.example.quickstart.Producer

在这里插入图片描述
在这里插入图片描述

#消费者
./tools.sh org.apache.rocketmq.example.quickstart.Consumer

在这里插入图片描述
在这里插入图片描述

雅俗共赏zyyyyyy
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
RocketMQ（15）——RocketMQ控制台
Elim的博客
09-06 3457
RocketMQ Console的顶部一共有8个菜单，OPS可以对控制台进行一些配置，主要是指定需要连接的NameServer的地址。可以通过某个Broker右边的Operation列中的STATUS按钮查看Broker的一些运行时信息，通过CONFIG按钮可以查看该Broker的配置信息。Message菜单可以从Topic、消息Key、消息ID三个维度来查询消息，查询完消息后可以查看消息的详细信息，也可以控制消息重新发送。该界面可以查看到所有的Topic信息，包括系统的一些Topic。
rocketmq-dashboard包，已经编译好
04-27
原名rocketmq-console，现在在github上面改名为rocketmq-dashboard； 默认端口是8080，默认的用户密码是：admin/admin123，大家拿到jar包之后请修改配置文件里的密码，BOOT-INF/classes/users.properties； 直接使用java -jar rocketmq-dashboard-1.0.0.jar运行，可以使用nohup放到后台运行；
RocketMQ教程(二)：RocketMQ以及控制台的安装
最新发布
十三月的博客
06-04 924
RocketMQ-Console 是一个针对 Apache RocketMQ 的开源 Web 监控和管理平台。它提供了一个用户友好的界面，通过 Web 浏览器允许用户对 RocketMQ 集群进行管理和监控。这个控制台使得管理和监测 RocketMQ 集群变得更加直观和方便，特别是对于不熟悉命令行操作的用户。：展示 RocketMQ 集群的当前状态，包括各个 Broker 的状态、NameServer 的状态以及客户端的连接情况等。：允许用户创建、修改和删除主题（Topic），方便地管理消息的分类。
RocketMQ之console监控平台使用详解(三)
weixin_33705053的博客
08-07 2857
以前看别人文章时，经常说文章写一半因为某某原因重新写。今天我也碰到了，上午写了三分之一，电脑锁屏，下午过来直接写文章的软件退出了。 简直日了狗。吸取教训。 一、序 现在网上“同质性”的技术文章太多了，本来想了解下rocketmq-console监控平台的文档使用，不知道是搜索姿势有问题还是没这需求，找到的全是rocketmq-console的部署安装。测试了很遍，结合理解，差不都搞懂了很多关于...
RocketMQ系列：rocketmq运维控制台使用详解（全网独家）
公众号-测试生财
09-24 1万+
搭建好了RocketMQ的console之后，直接在浏览器打开http://{你的ip}:8080 默认会进入到驾驶舱（dashboard）。 总览 整体横向菜单分为八个部分： 运维：主要是设置nameserver和配置vipchannel 驾驶舱：控制台的dashboard，可以分别按broker和主题来查看消息的数量和趋势。 集群：整个RocketMq的集群情况，包括分片，编号，地址，版本，消息生产和消息消费的TPS等，这个在做性能测试的时候可以作为数据指标。 主题：即topic，可以
rocketMQ学习笔记二：RocketMQ-Console安装、使用详解
热门推荐
麦田里的码农
05-12 9万+
一、rocketmq-console介绍   RocketMQ-Console是RocketMQ项目的扩展插件，是一个图形化管理控制台，提供Broker集群状态查看，Topic管理，Producer、Consumer状态展示，消息查询等常用功能，这个功能在安装好RocketMQ后需要额外单独安装、运行。 二、rocketmq-console下载、部署   进入rocketmq-externals项...
RocketMQ 快速搭建与控制台搭建
Julie的博客
09-04 1475
RockerMQ 4.9.5 带你入门
中间件+RocketMq+集群部署
11-12
总之，RocketMQ集群部署涉及到多个步骤和组件，但遵循正确的配置和操作流程，可以构建出一个强大、可靠的分布式消息系统。理解RocketMQ的工作原理和最佳实践，对于优化系统性能和保障业务连续性至关重要。
rocketmq安装包及RocketMQ 控制台JAR包
10-18
3. **配置与连接**：在控制台上，你需要配置RocketMQ集群的NameServer地址，然后可以查看和管理你的主题（Topic）、队列（Queue）等资源，监控消费状态，进行消息查询等操作。 在实际应用中，RocketMQ支持多种部署...
rocketmq集群搭建资源以及搭建详细步骤（全套）
03-04
在本压缩包中，你将找到搭建RocketMQ集群所需的全部资源，包括必要的jar包和war包。 首先，我们来了解一下RocketMQ集群的基本概念。在RocketMQ中，集群主要由NameServer、Broker和Producer/Consumer等角色组成。...
RocketMQ控制台
07-08
部署完成后，可以通过浏览器访问控制台地址来管理和监控你的RocketMQ集群。 需要注意的是，由于这是一个老版本的控制台，可能不兼容较新的RocketMQ版本，因此在使用前需确保控制台与RocketMQ版本的兼容性。在升级或...
rocketmq安装部署
05-19
RocketMQ是阿里巴巴开源的一款分布式消息中间件，广泛应用于大数据、实时计算、微服务等领域。在Linux环境下进行RocketMQ的安装部署是一项...通过调整配置、增加节点、部署集群，可以构建更稳定、高效的RocketMQ环境。
Rocketmq部署
qq_42526680的博客
07-19 1816
需要maven是因为rocketmq控制台是maven项目，项目中包含大量依赖，需要maven来统一进行管理；由于该安装包是.zip，需使用unzip指令进行解压，而unzip默认是没有安装的，所以解压前需要先安装指令集。注意：配置文件必须修改，因为配置文件中规定服务的最小内存，rocketmq 256m足够了。），生成新的jar包，以下指令执行的时间可能会很长，因为pom里的依赖需要逐条下载。由于项目刚拉下来，还未生成jar包，需要编译，可通过以下指令进行编译（安装完成后，进行解压。
Windows环境Rocketmq 服务及控制台搭建
meser88的博客
03-19 3719
1. 控制台源码下载 地址：https://github.com/apache/rocketmq-externals.git，当前版本1.0.1 2.解压后进入目录H:\software\rocketmq-externals-master\rocketmq-console\src\main\resources修改配置文件application.properties 3.进入目录H:\sof...
rocketmq及控制台搭建
wangjinkui的博客
04-06 5276
rocketmq 下载 各版本下载 选择 rocketmq-all-xxx-bin-release.zip 配置 参考文档 下载后的文件导入linux并解压 unzip rocketmq-all-4.6.0-bin-release.zip 编辑runbroker.sh和runserver.sh修改默认JVM大小 cd rocketmq-all-4.6.0-bin-release/bin/ vi runbroker.sh vi runserver.sh # 参考设置 JAVA_OPT="${
第二章 RocketMQ控制台
chengxunzun的博客
03-08 491
这是最新版的配置文件，分表修改端口号 和 rocketmq的地址，注意最新版的集群是这样写了，之前版本是。借助上一章搭建了rocketmq，此时收发消息都可以了，那有没有一个可视化平台可以看见，队列，主题呢？答案是有的，RocketMQ有一个可视化的dashboard，通过该控制台可以直观的查看到很多数据。注意rockermq-dashboard 没有和其他的源码一块。
学习使用RocketMQ
andy7_的博客
04-12 1738
官方说明:随着使用越来越多的队列和虚拟主题，ActiveMQ IO模块遇到了瓶颈。我们尽力通过节流，断路器或降级来解决此问题，但效果不佳。因此，我们那时开始关注流行的消息传递解决方案Kafka。不幸的是，Kafka不能满足我们的要求，特别是在低延迟和高可靠性方面。看到这里可以很清楚的知道RcoketMQ 是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。
springcloud-alibaba （06）RocketMQ控制台安装与启动
个人笔记总结
06-07 2239
本文介绍了如何在Windows上安装和启动RocketMQ控制台。从下载解压，导入IDEA，配置配置文件，修改JDK版本，开启端口号，启动控制台，访问控制台等步骤进行了详细的介绍。最终让读者能够方便地查看消息状态、创建命名空间及主题等操作，为高效的消息传输带来便利
【RocketMQ系列】学习笔记01 - RocketMQ运维控制台使用详解
weixin_44765236的博客
10-25 1066
这里订阅组指的是使用rocketmq的客户端（比如java，cpp，go，python等）进行消费时候使用的group，多个consumer可以使用同一个group进行消费，也可以使用不同的group消费。集群：整个RocketMq的集群情况，包括分片，编号，地址，版本，消息生产和消息消费的TPS等，这个在做性能测试的时候可以作为数据指标。消费详情和topic详情有点类似，不同的是topic详情展示的落盘消息的offset情况，而消费详情展示的是消费消息的offset情况。
idea 部署 docker 控制台乱码
07-27
回答: 如果在使用IDEA部署docker时，控制台出现乱码问题，可以尝试以下解决方案。首先，点击上方导航栏的"File→Settings..."进入配置页面，然后选择"Editor"，再选择"File Encodings"。在这里，将"Global Encoding"、"Project Encoding"和"Default encoding for properties files"都设置为UTF-8。如果这个方法不起作用，可以尝试下面的解决方案。\[1\] 另外，你也可以点击上方导航栏的"Run→Edit Configurations..."进入配置页面，然后修改当前Web项目Tomcat Server的虚拟机输出选项。在"VM options"中添加"-Dfile.encoding=UTF-8"。然后重启项目，看看问题是否解决。如果还是没有效果，可以尝试其他解决方案。\[2\] #### 引用[.reference_title] - *1* *2* [解决idea控制台乱码](https://blog.csdn.net/CruelMeng/article/details/127594160)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

雅俗共赏zyyyyyy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值