RocketMQ安装

最新推荐文章于 2024-08-04 22:30:17 发布
最新推荐文章于 2024-08-04 22:30:17 发布
阅读量218 收藏
点赞数
分类专栏： 消息中间件MQ 文章标签： RocketMQ安装 RocketMQ单实例 RocketMQ集群配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dingjianmin/article/details/121034007
版权

一、单实例安装&启动

1、安装-目录规划

cd /opt/soft
# 上传RocketMQ二进制压缩包，到/opt/soft目录下 或者直接wget下载
wget https://archive.apache.org/dist/rocketmq/4.7.1/rocketmq-all-4.7.1-binrelease.zip
# 安装unzip解压
yum install -y unzip
# 解压
unzip rocketmq-all-4.7.1-bin-release.zip
# 重命名
mv rocketmq-all-4.7.1-bin-release rocketmq-all-4.7.1
# 为了替换版本方便，创建软链
ln -s /opt/soft/rocketmq-all-4.7.1 /usr/local/rocketmq

2、启动&停止NameServer、Broker

先启动NameServer，然后启动Broker，并向 NameServer 注册自己

################### NameServer ###################
# 启动之前根据本机内存大小，看看是否需要修改 JAVA_OPT 的内存设置
cd /usr/local/rocketmq/bin
sed -i 's/-Xms4g -Xmx4g -Xmn2g/-Xms1g -Xmx1g -Xmn512m/g' ./runserver.sh
# 启动 NameServer
nohup /usr/local/rocketmq/bin/mqnamesrv &
# 查看 NameServer启动日志
tail -f ~/logs/rocketmqlogs/namesrv.log
# 关闭 NameServer
/usr/local/rocketmq/bin/mqshutdown namesrv
################### Broker ###################
# 启动之前根据本机内存大小，看看是否需要修改 JAVA_OPT 的内存设置
cd /usr/local/rocketmq/bin
sed -i 's/-Xms8g -Xmx8g -Xmn4g/-Xms1g -Xmx1g -Xmn512m/g' ./runbroker.sh
# 启动 Broker
nohup /usr/local/rocketmq/bin/mqbroker -n localhost:9876 &
# 我的测试版本4.7.1，需要加上autoCreateTopicEnable=true 参数
# 否则在测试发送消息的时候会报异常
nohup /usr/local/rocketmq/bin/mqbroker -n localhost:9876
autoCreateTopicEnable=true &
# 查看 Broker 启动日志
tail -f ~/logs/rocketmqlogs/broker.log
### 2.关闭Broker
/usr/local/rocketmq/bin/mqshutdown broker

3、验证

查看JAVA进程，是否存在NamesrvStartup、BrokerStartup， 如果没有则查看LOG日志查找问题。

jps


2612 Jps
2503 BrokerStartup
2456 NamesrvStartup

发送和接收消息测试

cd /usr/local/rocketmq/bin
# 创建topic
sh mqadmin updateTopic -n localhost:9876 -b localhost:10911 -t TopicTest
# 设置临时环境变量
export NAMESRV_ADDR=localhost:9876
# 开启自带的生产者
sh tools.sh org.apache.rocketmq.example.quickstart.Producer
# 开启自带的消费者
sh tools.sh org.apache.rocketmq.example.quickstart.Consumer

二、集群配置&启动

实验环境：准备两台虚拟机

1、修改 hosts

vim /etc/hosts
192.168.18.24 rocketmq-n1
192.168.18.27 rocketmq-n2
systemctl restart network

2、配置文件broker-a.properties  

broker-a.properties

brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-n1:9876;rocketmq-n2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/data/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

 3、配置文件broker-b-s.properties

broker-b-s.properties

brokerClusterName=rocketmq-cluster
brokerName=broker-b
brokerId=1
namesrvAddr=rocketmq-n1:9876;rocketmq-n2:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=true
autoCreateSubscriptionGroup=true
listenPort=11011
deleteWhen=04
fileReservedTime=120
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
diskMaxUsedSpaceRatio=88
storePathRootDir=/data/rocketmq/store-s
storePathCommitLog=/data/rocketmq/store-s/commitlog
storePathConsumeQueue=/data/rocketmq/store-s/consumequeue
storePathIndex=/data/rocketmq/store-s/index
storeCheckpoint=/data/rocketmq/store-s/checkpoint
abortFile=/data/rocketmq/store-s/abort
maxMessageSize=65536
brokerRole=SLAVE
flushDiskType=ASYNC_FLUSH

4、配置文件broker-b.properties

broker-b.properties

brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-n1:9876;rocketmq-n2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/data/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

5、配置文件broker-a-s.properties

broker-a-s.properties

brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-n1:9876;rocketmq-n2:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/data/rocketmq/store-s
#commitLog 存储路径
storePathCommitLog=/data/rocketmq/store-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/data/rocketmq/store-s/consumequeue
#消息索引存储路径
storePathIndex=/data/rocketmq/store-s/index
#checkpoint 文件存储路径
storeCheckpoint=/data/rocketmq/store-s/checkpoint
#abort 文件存储路径
abortFile=/data/rocketmq/store-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

6、启动集群

# 分别在两台虚拟机上执行
mkdir /data/rocketmq/store -p
mkdir /data/rocketmq/store/commitlog -p
mkdir /data/rocketmq/store/consumequeue -p
mkdir /data/rocketmq/store/index -p
mkdir /data/rocketmq/store-s -p
mkdir /data/rocketmq/store-s/commitlog -p
mkdir /data/rocketmq/store-s/consumequeue -p
mkdir /data/rocketmq/store-s/index -p
cd /usr/local/rocketmq/conf/2m-2s-sync
sh /usr/local/rocketmq/bin/mqshutdown broker
sh /usr/local/rocketmq/bin/mqshutdown namesrv
nohup /usr/local/rocketmq/bin/mqnamesrv & # 启动NameServer
# 在虚拟机rocketmq-n1上执行
nohup /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2ssync/broker-a.properties &
nohup /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2ssync/broker-b-s.properties &
# 在虚拟机rocketmq-n2上执行
nohup /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2ssync/broker-a-s.properties &
nohup /usr/local/rocketmq/bin/mqbroker -c /usr/local/rocketmq/conf/2m-2ssync/broker-b.properties &
tail -f ~/logs/rocketmqlogs/broker.log
# 查看集群信息(随便在那台虚拟机上执行都行)
/usr/local/rocketmq/bin/mqadmin clusterlist -n
192.168.18.24:9876;192.168.18.27:9876
/usr/local/rocketmq/bin/mqadmin clusterlist -n
192.168.18.24:9876;192.168.18.27:9876
### 关闭服务关闭
# 关闭namesrv服务
/usr/local/rocketmq/bin/mqshutdown namesrv
# 关闭broker服务 ：
/usr/local/rocketmq/bin/mqshutdown broker

三、RocketMQ Web管理界面

rocketmq提供多种管理方式,命令行和界面等；但是rocketmq默认不带可视化控制台，需要去单 独编译apache提供一个开源的扩展项目 https://github.com/apache/rocketmq-externals

1、git clone源码

git clone https://github.com/apache/rocketmq-externals

 2、进入到 rocketmq-console 目录，执行 maven 编译打包

cd rocketmq-externals/rocketmq-console
mvn clean package -Dmaven.test.skip=true

3、启动

# jar包在target目录下面，你可以copy到其他目录去运行
java -jar rocketmq-console-ng-1.0.0.jar --server.port=8081 --
rocketmq.config.namesrvAddr=192.168.18.24:9876 > /usr/local/rocketmq/logs/mqconsole.log 2>&1 &
# --server.port springboot内置tomcat的端口号，默认8080；
# --rocketmq.config.namesrvAddr nameserver的地址

四、RocketMQ 排坑：设置broker的ip地址

先上结论

需要在启动的时候导入配置文件

# 进入rocketmq根目录
cd /usr/local/rocketmq
#启动 mqnamesrv
nohup sh bin/mqnamesrv &
# 编写配置文件，并写好配置
echo "brokerIP1=192.168.18.24" >> conf/broker.properties
#重点：mrbroker 启动时通过 -c 加载配置文件
nohup sh bin/mqbroker -n 192.168.18.24:9876 -c
/usr/local/rocketmq/conf/broker.conf &

原理：

RocketMQ 的broker 启动类

org.apache.rocketmq.broker.BrokerStartu

启动的时候会读取代码中的默认配置，关于 broker的配置在

org.apache.rocketmq.common.BrokerConfig

中，根据源代码可以得知，broker使用的默认IP为本机Ip

brokerIP1 = RemotingUtil.getLocalAddress();

得到选取ip的思路是，遍历本地的所有网卡ip，过滤掉 “127.0” 和“192.168”开头的ip地址然后得到第一 个ip，为本机ip。

问题：

当这台机器有很多别的网卡（如：安装docker后），broker使用的ip，就可能会导致我们的客户端无法 连接。

解决：

RocketMQ 在加载默认配置后，根据启动时是否包含 -c 参数

if (commandLine.hasOption('c'))

确定是否执行代码加载额外配置文件。加载时，通过反射的方式，根据配置文件中的键值对，赋值到 BrokerConfig 中对应的属性中。

最后：

RocketMQ 启动时会打印出所有“重要的配置” （被@ImportantField所注解的属性），通过打印的 brokerIP1 的属性，就可以知道，配置是否成功了。

每天努力一点，每天都在进步

powerfuler
关注
专栏目录
RocketMQ集群（2主2从）搭建
qq_35059264的博客
07-29 356
勿以浮沙筑高台 基础准备：准备2台170,171机子并且安装了rocketMQ. 1.更改hosts信息 vi /etc/hosts # nameserver 192.168.95.170 rocketmq-nameserver1 192.168.95.171 rocketmq-nameserver2 # broker 192.168.95.170 rocketmq-master1 192.168.95.170 rocketmq-slave2 192.168.95.171 rocketmq-master
RocketMQ双主双从集群搭建部署
aaronszm的博客
06-29 705
systemctl stop firewalld.service firewall-cmd --state systemctl disable firewalld.service 或者为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口： nameserver 默认使用 9876 端口 master 默认使用 10911 端口 slave 默认使用11011 端口 开放name server默
RocketMQ双主双从集群搭建
YHJ
05-23 1947
1 各角色介绍 Producer：消息的发送者；举例：发信者 Consumer：消息接收者；举例：收信者 Broker：暂存和传输消息；举例：邮局 NameServer：管理Broker；举例：各个邮局的管理机构 Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息 Message Queue：相当于是Topic的分区；用于并行发送和接收消息 2 集群搭建方式 2.1 集群特点 NameServer是一个几乎无
RocketMQ：01- 基础知识与本地安装和云服务器搭建及可视化控制台搭建案例
最新发布
欢迎来到 ABin-阿斌的博客：写一生代码，创一世佳话，筑一览芳华。
08-04 1001
RocketMQ是阿里开源的一款非常优秀中间件产品，脱胎于阿里的另一款队列技术MetaQ，后捐赠给Apache基金会作为一款孵化技术，仅仅经历了一年多的时间就成为Apache基金会的顶级项目。并且它现在已经在阿里内部被广泛的应用，并且经受住了多次双十一的这种极致场景的压力。（2017年的双十一，RocketMQ流转的消息量达到了万亿级，峰值TPS达到5600万）。并且其内部通过Java语言开发，便于阅读与修改。
RocketMQ 4.5.1 双主双从异步复制环境搭建
weixin_34248258的博客
05-26 352
基础环境 操作系统：CentOS7 实例：192.168.63.129，192.168.63.130，192.168.63.131，192.168.63.132 Java：jdk-8u191-linux-x64.tar.gz 安装JDK 先把系统里面自带的卸载掉 [root@localhost soft]# rpm -qa|grep java python-javapa...
RocketMQ各种集群模式介绍
Leon_Jinhai_Sun的博客
06-13 1364
集群模式 1）单Master模式 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。 2）多Master模式 一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下： 优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
rocketmq安装部署
05-19
从官方网站或GitHub仓库获取RocketMQ的4.8.0版本源码包，或者直接使用已提供的"rocketmq安装部署"压缩包。将压缩文件上传到Linux服务器，并在指定目录下进行解压，例如 `/usr/local/src/`。 ```bash cd /usr/local/...
RocketMQ安装文档
04-09
**RocketMQ安装文档** RocketMQ，一款开源的消息中间件，由阿里巴巴贡献并维护，它具有高可用、高并发、低延迟的特点，广泛应用于分布式系统中的消息传输。本安装文档将详细讲解如何简单搭建RocketMQ以及如何构建一...
描述Rocketmq安装过程
07-13
### 描述RocketMQ安装过程 RocketMQ是一款分布式消息中间件，具有高性能、高可靠性和低延迟的特点，在消息处理和实时数据流传输方面有着广泛的应用。本文将详细介绍RocketMQ的安装步骤，包括RocketMQ服务器本身的...
RocketMQ双主双从同步集群部署
小啊宇的博客
08-15 1573
RocketMQ双主双从同步集群部署
RocketMQ-3.5.8双主双从配置及部署说明
10-29
RocketMQ-3.5.8，双主双从配置文件、已编译安装包、安装部署文档及开发环境测试项目
rocketmq双主集群搭建
08-14
双主集群是RocketMQ最简集群，会双主部署搭建了，多主或多主多从也自然没啥问题了
Rocketmq双主双从部署
weixin_48452961的博客
07-10 925
总结：消息生产者生产消息前，会先向NameServer中获取Broker，这就要求Broker需先注册到NameServer中，producer获取到Broker以后，就可以生产消息并交由Broker存储，Broker内部调用模块MessageQueue存储消息，而MessageQueue又会被逻辑划分为一个一个的topic，之后，消息消费者从NameServer中获取Broker，获取到Broker后，取出消息进行消费。2）Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。
Centos安装RocketMQ之双主双从模式（同步双写方式）
lcgskycby的博客
01-13 1114
RocketMQ单机版模式，这种模式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试，单机版环境搭建可以参考文档。
RocketMQ 的双主双从集群搭建
qq_40230026的博客
02-15 3060
文章目录1：介绍2：准备2.1 准备虚拟机2.2 修改虚拟机的ip地址 1：介绍 1：本次搭建集群采用异步复制，主备有短暂消息延迟，毫秒级 2：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，因为Master 宕机后，消费者仍然可以从 Slave消费，此过程对应用透明。不需要人工干预。 3：Master 宕机，磁盘损坏情况，会丢失少量消息。这个是 rocket 3.5 之前都存在的，3.6之后可以支持主备切换，这个我们下次搭建。 2：准备 准备了 4台虚拟机，IP 地址准备设置成 192.168.1
系列十五（实战）、搭建RocketMQ集群（双主双从）
仰望星空，脚踏实地！安全感是自己给的，努力才是一辈子的安全感。
07-11 3204
NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
rocketmq双主双从部署+dashbord
Grey_fantasy的博客
01-19 710
rocketmq双主双从部署+dashbord
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

powerfuler

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值