RocketMQ入门-搭建RocketMQ集群

最新推荐文章于 2023-08-10 10:48:46 发布
最新推荐文章于 2023-08-10 10:48:46 发布
阅读量206 收藏 1
点赞数
分类专栏： RocketMq 文章标签： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43169156/article/details/115712627
版权

RocketMQ集群安装

在上一节*RocketMQ安装*中，已经安装成功了RocketMQ；现在需要将上一节的虚拟机复制两台出来，组件rocketMq的集群。

Tips：复制后的虚拟机，先修改网络配置文件（vim /etc/sysconfig/network-scripts/ifcfg-ens33）中的IP地址(IPADDR)，避免重复。并使用systemctl restart network重启网络服务，再使用ifconfig观察IP是否已经修改成功了。

我的集群hosts配置如下：一主两从

192.168.15.14 rocketmq-master01
192.168.15.15 rocketmq-slave01
192.168.15.16 rocketmq-slave02

打算搭建的集群是3个namesrv，2台从节点上的broker互作主从；即3namesrv，4broker。

启动namesrv

在三台服务器的rocket根目录下，手动创建一个log目录来存放日志；分别执行如下命令启动namesrv：

[root@localhost rocketmq-all-4.8.0-bin-release]# nohup sh bin/mqnamesrv  > log/namesrv.log 2>&1 &

启动broker

slave01节点跑的broker有两个：

  • broker-a
  • broker-b的备份

slave02节点跑的broker有两个：

  • broker-b
  • broker-a的备份

slave01

  1. 从rocket根目录进入conf/2m-2s-async配置目录，基于推荐的配置进行修改，我们这个节点只修改broker-a.properites和broker-b-s.properites

    [root@localhost 2m-2s-async]# pwd
/u01/environment/rocketmq/rocketmq-all-4.8.0-bin-release/conf/2m-2s-async

  2. 编辑broker-a.properites，修改brokerClusterName、brokerName、brokerId、namesrvAddr、autoCreateTopicEnable、listenPort、haListenPort、brokerRole字段和有关所有store的配置字段。大概解释这几个字段的作用：

    • brokerClusterName：集群名称，同一个集群名称组成一个集群
    • brokerName：broker的名称，主从名称可一致
    • brokerId：值为0表示Master节点，大于0表示slave从节点
    • namesrvAddr：注册的namesrvAddr，要么用ip:9876来配置，要么用host:9876来配置；多个namesrvAddr使用;分割
    • autoCreateTopicEnable：自动创建topic，线下开启，方便学习测试
    • autoCreateSubscriptionGroup：消费者自动订阅，线下开启，方便学习测试
    • listenPort：启动broker的端口
    • brokerRole：当前broker的角色，从节点值为SLAVE
    • 所有store字段：从节点的所有store目录要和主节点的区别开，这里使用store-s表示从节点的store目录；如果新启动的broker使用的store是已启动的broker的store，则启动报错java.lang.RuntimeException: Lock failed,MQ already started

  3. 编辑broker-b-s.properites，本配置是用于做slave02上跑的broker-b的从节点。修改的参数可以参考主节点，需要注意的如下：

    • listenPort：不与已启动的broker端口冲突
    • brokerName：新启动的broker的名称，是slave02的broker-b的从节点
    • brokerId：修改为1，从节点的brokerId需要大于0
    • 所有store目录：不要与已启动的broker使用的store目录冲突

参考配置内容如下：

broker主节点的配置：

[root@localhost 2m-2s-async]# cat broker-a.properties 
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样，
brokerName=broker-a
#0 表示 Master，>0 表示 Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=rocketmq-master01:9876;rocketmq-slave01:9876;rocketmq-slave02:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
haListenPort=10912
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
 
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
 
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量 
#pullMessageThreadPoolNums=128
##强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
#brokerIP1=192.168.15.15

broker从节点的配置：

[root@localhost 2m-2s-async]# cat broker-b-s.properties 
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字，注意此处不同的配置文件填写的不一样，
brokerName=broker-b
#0 表示 Master，>0 表示 Slave
brokerId=1
#nameServer地址，分号分割
namesrvAddr=rocketmq-master01:9876;rocketmq-slave01:9876;rocketmq-slave02:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10923
haListenPort=10924
#删除文件时间点，默认凌晨 4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/rocketmq/store-s
#commitLog 存储路径
storePathCommitLog=/rocketmq/store-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/rocketmq/store-s/consumequeue
#消息索引存储路径
storePathIndex=/rocketmq/store-s/index
#checkpoint 文件存储路径
storeCheckpoint=/rocketmq/store-s/checkpoint
#abort 文件存储路径
abortFile=/rocketmq/store-s/abort
#限制的消息大小
maxMessageSize=65536
 
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
 
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量 
#pullMessageThreadPoolNums=128
##强制指定本机IP，需要根据每台机器进行修改。官方介绍可为空，系统默认自动识别，但多网卡时IP地址可能读取错误
#brokerIP1=192.168.15.15

启动操作如下：先切换到rocket的根目录下，然后执行如下命令。

[root@localhost rocketmq-all-4.8.0-bin-release]# nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties > log/broker-a.log 2>&1 &
[root@localhost rocketmq-all-4.8.0-bin-release]# nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties > log/broker-b-s.log 2>&1 &

slave02

  1. 从rocket根目录进入conf/2m-2s-async配置目录，基于推荐的配置进行修改，我们这个节点只修改broker-b.properites和broker-a-s.properites
  2. broker-b.properites配置可以直接复用slave01中的broker-a.properites，只需要修改其中的brokerName的值为broker-b即可
  3. broker-a-s.properites配置可以直接复用slave01中的broker-b.properites，只需要修改其中的brokerName的值为broker-a-s即可

启动操作如下：先切换到rocket的根目录下，然后执行如下命令。

[root@localhost rocketmq-all-4.8.0-bin-release]# nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties > log/broker-b.log 2>&1 &
[root@localhost rocketmq-all-4.8.0-bin-release]# nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties > log/broker-a-s.log 2>&1 &

测试rocketmq集群

  1. 进入rocket根目录下，执行如下命令，观察响应信息是否如下

    [root@localhost rocketmq-all-4.8.0-bin-release]# sh bin/mqadmin clusterList
RocketMQLog:WARN No appenders could be found for logger (io.netty.util.internal.PlatformDependent0).
RocketMQLog:WARN Please initialize the logger system properly.
#Cluster Name     #Broker Name            #BID  #Addr                  #Version                #InTPS(LOAD)       #OutTPS(LOAD) #PCWait(ms) #Hour #SPACE
rocketmq-cluster  broker-a                0     192.168.15.15:10911    V4_8_0                   0.00(0,0ms)         0.00(0,0ms)          0 449559.47 -1.0000
rocketmq-cluster  broker-a                1     192.168.15.16:10923    V4_8_0                   0.00(0,0ms)         0.00(0,0ms)          0 449559.47 0.0741
rocketmq-cluster  broker-b                0     192.168.15.16:10911    V4_8_0                   0.00(0,0ms)         0.00(0,0ms)          0 449559.47 -1.0000
rocketmq-cluster  broker-b                1     192.168.15.15:10923    V4_8_0                   0.00(0,0ms)         0.00(0,0ms)          0 449559.47 0.0741
[root@localhost rocketmq-all-4.8.0-bin-release]#

  2. 4个broker，两个broker-a和两个broker-b表示启动是成功了的

春刀c
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ集群部署（一）
weixin_30301183的博客
10-29 235
下载 RocketMQ下载地址：http://rocketmq.apache.org/ WebUI监控下载地址：https://github.com/apache/incubator-rocketmq-externals/tree/master/rocketmq-console 集群测试环境： JDK1.8 RocketMQ版本：4.3.1 服务器Linux，共计4台 部署模式：2...
RocketMQ-初体验RocketMQ(03)_RocketMQ多机集群部署
小工匠
11-05 9981
文章目录RocketMQ的安装（单节点） RocketMQ的安装（单节点）
RocketMQ使用命令查看主题列表报错：SubCommandException: TopicListSubCommand command failed
健身变秃，coding变强
10-26 3713
详细报错 org.apache.rocketmq.tools.command.SubCommandException: TopicListSubCommand command failed at org.apache.rocketmq.tools.command.topic.TopicListSubCommand.execute(TopicListSubCommand.java:113) at org.apache.rocketmq.tools.command.MQAdminStartup.main0(
RocketMQ管理命令说明
任何技能都是从模仿开始，逐步升华。
11-09 4万+
1.1.  控制台使用 RocketMQ提供有控制台及一系列控制台命令，用于管理员对主题，集群，broker等信息的管理； l  登录控制台： 首先进入RocketMQ工程，进入/RocketMQ/bin 在该目录下有个mqadmin脚本 l  查看帮助： 在mqadmin下可以查看有哪些命令               shmqadmin l  查看具体命令的使用 sh mqa
RocketMQ集群
testbaibai的博客
08-01 350
包括2个NameServer实例和两组3实例的BrokerServer组。
RocketMQ讲义-03.pdf
04-25
包括集群的不同搭建方式和具体步骤，以及双主双从集群的工作流程。 **6. 管理工具** * **mqadmin**：命令行工具，用于管理MQ实例。 * **RocketMQ-Console**：Web界面管理工具，方便监控和操作。 **7. 高级功能** ...
RocketMQ --- 基础篇
shuai_h的博客
06-26 948
bin：启动脚本，包括shell脚本和CMD脚本conf：实例配置文件 ，包括broker配置文件、logback配置文件等lib：依赖jar包，包括Netty、commons-lang、FastJSON等Producer：消息的发送者；举例：发信者Consumer：消息接收者；举例：收信者Broker：暂存和传输消息；举例：邮局NameServer：管理Broker；举例：各个邮局的管理机构Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；
rocketmq-all-4.8.0-source-release.zip
06-02
通过上述步骤，你就可以在本地搭建一个简单的RocketMQ环境进行测试和学习。同时，由于RocketMQ是分布式系统，你还可以进一步研究其在集群环境下的部署和高可用方案，例如Master-Slave复制、HA服务等。 总之，`...
搭建RocketMQ服务-多Master模式
王金铎的博客
03-08 2162
前言 RocketMQ 集群部署模式 单 master 模式 也就是只有一个 master 节点，如果master节点挂掉了，会导致整个服务不可用，线上不宜使用，适合个人学习使用。 多 master 模式 多个 master 节点组成集群，单个 master 节点宕机或者重启对应用没有影响。 优点：所有模式中性能最高 缺点：单个 master 节点宕机期间，未被消费的消息在节点恢...
搭建RocketMQ服务-多Master多Slave模式
王金铎的博客
03-08 1881
前言 RocketMQ 集群部署模式 单 master 模式 也就是只有一个 master 节点，如果master节点挂掉了，会导致整个服务不可用，线上不宜使用，适合个人学习使用。 多 master 模式 多个 master 节点组成集群，单个 master 节点宕机或者重启对应用没有影响。 优点：所有模式中性能最高 缺点：单个 master 节点宕机期间，未被消费的消息在节点恢...
rocketmq-console-ng-1.0.1.jar
11-15
2019最新编译的RocketMQ控制台，rocketmq-console-ng-1.0.1.jar。 启动方式： java -jar rocketmq-console-ng-1.0.1.jar --server.port=端口 --rocketmq.config.namesrvAddr='namesrv地址:端口;namesrv地址:端口' 启动完成后，用浏览器访问就可以了。
快速学习-RocketMQ运维管理
逍遥云恋
09-20 526
运维管理 1 集群搭建 1.1 单Master模式 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。 1）启动 NameServer ### 首先启动Name Server $ nohup sh mqnamesrv & ### 验证Name Server 是否启动成功 $ tail -f ~/logs/rocketmqlogs/namesrv.log The Name Server boot success... 2）启动 B
RocketMQ命令整理
樵夫后院
07-14 1568
原创文章，转载请注明出处：http://jameswxx.iteye.com/blog/2091971   1.1. 控制台使用 RocketMQ 提供有控制台及一系列控制台命令，用于管理员对主题，集群，broker 等信息的管理； 登录控制台 首先进入RocketMQ 工程，进入/RocketMQ/bin 在该目录下有个mqadmin 脚本 查看帮助 在mqadmin 下...
RocketMQ集群平滑下线或重启某个节点
浩然的博客
08-10 556
此时可以让该节点下线操作。然而，在实际过程中并没有出现为零的情况，InTPS和OutTPS总是有值，有时个位数字有时是两位数字，大部分时间在20多的值。该台为master节点，运行正常。如果直接下线该master，由于主从异步复制，可能导致部分消息来不及复制到slave造成消息丢失。另一种方案选择：关闭该broker的写入权限，待该broker不再有写入和消费时，再下线该节点。观察InTPS和OutTPS，理想情况都为零时，并不再变化时，则该节点可下线了。2表示只写权限，4表示只读权限，6表示读写权限。
RocketMQ 解决 No route info of this topic 异常步骤
热门推荐
IT农场
02-28 16万+
rocketmq运行时提示 No route info of this topic 异常产生的原因可能是 ①Broker禁止自动创建Topic，且用户没有通过手工方式创建Topic ②Broker没有正确连接到Name Server ③Producer没有正确连接到Name Server  首先解决①这种情况，启动顺序要先启动nameserver，再启动broker，启动broke
安装Rocketmq以及部署Rocketmq集群
qq_39234967的博客
11-02 888
一、环境 1、两台服务器10.213.120.80、10.213.120.81 2、rocketmq版本4.4.0 二、安装rocketmq 1、通过ftp把rocketmq-all-4.4.0-bin-release.zip上传81服务器的/opt/software目录下 2、拷贝rocketmq-all-4.4.0-bin-release.zip到/usr/local目录下 3、解压rocketmq-all-4.4.0-bin-release.zip unzip rocketmq-all-4.4.0-b
RocketMQ实战之在线停机和扩容
jannal专栏
08-15 1437
RocketMQ实战、RocketMQ在线停机缩容、RocketMQ在线扩容
RocketMQ多个namesrv使用遇到的坑
lvxiucai的博客
12-07 7056
1业务背景 最近在做新老系统的mysql数据同步，由于新系统切换为微服务，数据结构设计不同，使用RocketMQ进行异步同步数据。 老系统已经有个老版本的MQ集群，所以在微服务的系统中，需要配置两个MQ集群，一个为新系统服务，另外一个专门为同步数据到老系统服务。 2代码 这里仅仅按照官方文档示例设置了生产组名和namesrv集群地址； 新系统如下使用MQ： private DefaultMQPro...
RocketMQ 常用命令实战
中间件兴趣圈
10-28 1203
本篇整理在运维 RocketMQ 集群时的常用命令，明白命令的含义，在集群运维时得心应手，下面命令均在实际环境中执行过。 集群命令汇总 集群列表 命令 clusterList 用于查看集群各个节点的运行情况。可以看到该集群中有几个节点、主节点还是从节点、以及每个节点的写入 TPS 和读出的 TPS 等。 命令示例： $ bin/mqadmin clusterList -n x.x.x.x:9876...
rocketmq-client-java
最新发布
10-28
rocketmq-client-java提供了多种消息消费模式，包括集群模式和广播模式。在集群模式下，多个消费者可以共同消费一个队列的消息，实现消息的负载均衡和高可用性；而在广播模式下，每个消费者都能收到所有队列的消息，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值