RocketMQ系列：搭建3m-noslave模式的rocketmq集群

最新推荐文章于 2023-06-05 22:24:17 发布
最新推荐文章于 2023-06-05 22:24:17 发布
阅读量522 收藏
点赞数
分类专栏： mq 测试不是一点点 运维&环境 文章标签： mq rocketmq 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ccgshigao/article/details/108878907
版权

利用6台机器搭建一个3分片的broker集群，一共有3个broker实例（3m），采用同步刷屏模式

1.引言

本文主要介绍如何在三台机器上搭建一个3m（无slave节点的）rocketmq的集群。

2.环境准备

机器名

机器IP

机器配置

备注

nameserver1

192.168.11.1

4C4G

 

nameserver2

192.168.11.2

4C4G

 

nameserver3

192.168.11.3

4C4G

 

broker1

192.168.11.48C16G
 

broker2

192.168.11.58C16G 

broker3

192.168.11.68C16G 

2.1 配置hostname

这里设置是为了方便管理机器节点，也可以跳过此处。

#nameserver1上执行：
hostnamectl set-hostname nameserver1
#nameserver2上执行：
hostnamectl set-hostname nameserver2
#nameserver3上执行：
hostnamectl set-hostname nameserver3
#broker1上执行：
hostnamectl set-hostname broker1
#broker2上执行：
hostnamectl set-hostname broker2
#broker3上执行：
hostnamectl set-hostname broker3

2.2 设置hosts

在broker1，broker2，broker3分别执行：

cat >>/etc/hosts<<EOF
192.168.11.1 nameserver1
192.168.11.2 nameserver2
192.168.11.3 nameserver3
EOF

3. 具体步骤

3.1 下载rocketmq的编译好的二进制包(4.7.1版本）

wget https://mirror.bit.edu.cn/apache/rocketmq/4.7.1/rocketmq-all-4.7.1-bin-release.zip

3.2 解压缩到到/usr/local/mq目录,并创建软链接

#解压到/usr/local
unzip rocketmq-all-4.7.1-bin-release.zip -d /usr/local/
cd /usr/local/
#创立软链接
ln -s rocketmq-all-4.7.1-bin-release rocketmq

3.3 安装java

#Ubuntu：
sudo apt install -y  openjdk-8-jdk*
#Centos：
sudo yum install -y java-1.8.0-openjdk*

4.初始化环境

4.1 设置环境变量

#如果是Ubuntu
echo 'export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/'>> ~/.bashrc
#如果是Centos
echo 'export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64/'>> ~/.bashrc

#无论是Ubuntu还是Centos都执行如下：
#设置CLASSPATH
echo 'export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib'>> ~/.bashrc
#设置ROCKETMQ_HOME
echo 'export ROCKETMQ_HOME=/usr/local/rocketmq'>> ~/.bashrc
#添加到PATH
echo 'export PATH=$PATH:$ROCKETMQ_HOME/bin:$JAVA_HOME/bin:$JAVA_HOME/jre/bin'>> ~/.bashrc

4.2 加载环境变量

source ~/.bashrc

4.3  创建目录

#/data目录的空间至少为1T+
mkdir -pv {/data/logs,/data/rocketmq/store/commitlog}

4.4 修改rocketmq的主目录

sed -i 's#${user.home}#/data#g' $ROCKETMQ_HOME/conf/*.xml

4.5 修改Linux系统参数提高性能

cd $ROCKETMQ_HOME/bin
sudo ./os.sh

5 启动

5.1 启动nameserver

1) 生成配置

分别在nameserver1，nameserver2，nameserver3上执行:

#进入Rockmq的bin目录
cd $ROCKETMQ_HOME/bin
#生产nameserver的配置
cat >> namesrv.properties << EOF
rocketmqHome=/usr/local/rocketmq
kvConfigPath=/root/namesrv/kvConfig.json
productEnvName=center
clusterTest=false
orderMessageEnable=false
listenPort=9876
serverWorkerThreads=8
serverCallbackExecutorThreads=0
serverSelectorThreads=3
serverOnewaySemaphoreValue=256
serverAsyncSemaphoreValue=64
serverChannelMaxIdleTimeSeconds=120
serverSocketSndBufSize=65535
serverSocketRcvBufSize=65535
serverPooledByteBufAllocatorEnable=true
useEpollNativeSelector=true
EOF

2) 启动nameserver

cd $ROCKETMQ_HOME/bin
nohup ./mqnamesrv -c namesrv.properties &

5.2 启动broker

下面分别配置三台broker

5.2.1 配置Rocket集群

1) 配置broker1的环境变量

cat >> ~/.bashrc << EOF
Role=broker1
brokerId=0
GroupName=broker-a
EOF

 执行：source ~/.bashrc

2）配置broker1的启动配置

cd $ROCKETMQ_HOME
cat >conf/dledger/qmq-${Role}.conf<<EOF
brokerClusterName=QMQ
brokerId=${brokerId}
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
brokerName=${GroupName}
namesrvAddr=nameserver1:9876;nameserver2:9876;nameserver3:9876
storePathRootDir=/data/rocketmq/${Role}
storePathCommitLog=/data/rocketmq/${Role}/commitlog
enableDLegerCommitLog=false
#凌晨4点触发一次删除
deleteWhen = 04
diskMaxUsedSpaceRatio=50
#只保留最近1天的消息
fileReservedTime = 24
sendMessageThreadPoolNums=8
defaultTopicQueueNums=16
maxTransferCountOnMessageInMemory=1000
waitTimeMillsInSendQueue=1000
transientStorePoolEnable=false
warmMapedFileEnable=false
transferMsgByHeap=true
maxTransferCountOnMessageInMemory=2000
maxTransferBytesOnMessageInMemory=2000*1024
EOF

3）启动broker1

cd $ROCKETMQ_HOME/bin
nohup sh mqbroker -c $ROCKETMQ_HOME/conf/dledger/qmq-${Role}.conf &

 

1）配置broker2环境变量

cat >> ~/.bashrc << EOF
Role=broker2
brokerId=0
GroupName=broker-b EOF

执行：source ~/.bashrc

2）配置broker2的启动配置

cd $ROCKETMQ_HOME
cat >conf/dledger/qmq-${Role}.conf<<EOF
brokerClusterName=QMQ
brokerId=${brokerId}
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
brokerName=${GroupName}
namesrvAddr=nameserver1:9876;nameserver2:9876;nameserver3:9876
storePathRootDir=/data/rocketmq/${Role}
storePathCommitLog=/data/rocketmq/${Role}/commitlog
enableDLegerCommitLog=false
#凌晨4点触发一次删除
deleteWhen = 04
diskMaxUsedSpaceRatio=50
#只保留最近1天的消息
fileReservedTime = 24
sendMessageThreadPoolNums=8
defaultTopicQueueNums=16
maxTransferCountOnMessageInMemory=1000
waitTimeMillsInSendQueue=1000
transientStorePoolEnable=false
warmMapedFileEnable=false
transferMsgByHeap=true
maxTransferCountOnMessageInMemory=2000
maxTransferBytesOnMessageInMemory=2000*1024
EOF

3）启动broker2

cd $ROCKETMQ_HOME/bin
nohup sh mqbroker -c $ROCKETMQ_HOME/conf/dledger/qmq-${Role}.conf &

1）配置broker3环境变量

cat >> ~/.bashrc << EOF
Role=broker3
brokerId=0
GroupName=broker-c
EOF

 执行：source ~/.bashrc

2）配置broker3的启动配置

cd $ROCKETMQ_HOME
cat >conf/dledger/qmq-${Role}.conf<<EOF
brokerClusterName=QMQ
brokerId=${brokerId}
brokerRole=SYNC_MASTER
flushDiskType=ASYNC_FLUSH
brokerName=${GroupName}
namesrvAddr=nameserver1:9876;nameserver2:9876;nameserver3:9876
storePathRootDir=/data/rocketmq/${Role}
storePathCommitLog=/data/rocketmq/${Role}/commitlog
enableDLegerCommitLog=false
#凌晨4点触发一次删除
deleteWhen = 04
diskMaxUsedSpaceRatio=50
#只保留最近1天的消息
fileReservedTime = 24
sendMessageThreadPoolNums=8
defaultTopicQueueNums=16
maxTransferCountOnMessageInMemory=1000
waitTimeMillsInSendQueue=1000
transientStorePoolEnable=false
warmMapedFileEnable=false
transferMsgByHeap=true
maxTransferCountOnMessageInMemory=2000
maxTransferBytesOnMessageInMemory=2000*1024
EOF

3）启动broker3

cd $ROCKETMQ_HOME/bin
nohup sh mqbroker -c $ROCKETMQ_HOME/conf/dledger/qmq-${Role}.conf &

5.3 其它命令

Broker其它命令

1. 关闭broker

sh mqshutdown broker
sh mqshutdown namesrv

2. 查看broker是否启动

#查看进程
jps -m

#查看端口
netstat -tupln|grep -E '309|409'

5.4 查看集群信息

通过控制台查询

 

传送门：2021最新测试资料与大厂招聘合集

博主：测试生财（一个不为996而996的测开码农）

座右铭：专注测试开发与自动化运维，努力读书思考写作，为内卷的人生奠定财务自由。

内容范畴：技术提升，职场杂谈，事业发展，阅读写作，投资理财，健康人生。

csdn：https://blog.csdn.net/ccgshigao

博客园：https://www.cnblogs.com/qa-freeroad/

51cto：https://blog.51cto.com/14900374

微信公众号：测试生财（定期分享独家内容和资源）

公众号-测试生财
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
RocketMQ-3.5.8 源码安装版
01-25
1. 安装maven 2. 执行install.bat (window) install.sh(linux) 3. 配置java环境变量 4. 启动 nohup sh mqnamesrv -c ../conf/mqnamesrv.properties >namesrv.out 2>&1 & nohup sh mqbroker -c ../conf/2m-noslave/broker-a.properties >broker.out 2>&1 & nohup sh mqbroker -c ../conf/2m-noslave/broker-b.properties >broker.out 2>&1 & 5. 停止 sh mqshutdown broker;sh mqshutdown namesrv;
RocketMQ 3 Master-No Salve集群搭建
少说多做
02-09 426
一、机器配置 ECS类型 机器配置 机器数量 费用预算 ecs.ic5.large 2C-2G-40G-20G 3台(后续可以横向扩容) 5845元 节点列表 服务器 名称 IP 角色 Port public-service-za-node-1 Name...
docker-compose部署roketmq三组主从集群节点
云深海阔专栏
01-24 782
A、broker节点部署 1、所有的目录结构 . ├── conf │ ├── broker-a-m-1.conf │ ├── broker-a-s-1.conf │ ├── broker-a-s-2.conf │ ├── broker-b-m-1.conf │ ├── broker-b-s-1.conf │ ├── broker-b-s-2.conf │ ├── broker-c-m-1.conf │ ├── broker-c-s-1.conf │ └── broker
RocketMQ源码分析之NameServer
热门推荐
中间件兴趣圈
07-17 1万+
1、RocketMQ组件概述 NameServer NameServer相当于配置中心，维护Broker集群、Broker信息、Broker存活信息、主题与队列信息等。NameServer彼此之间不通信，每个Broker与集群内所有的Nameserver保持长连接。 2、源码分析NameServer 本文不对 NameServer 与 Broker、Producer 集群、Cons...
RocketMq的集群的搭建（2主2从异步复制集群模式）
健康平安的活着的专栏
06-05 2062
本案例采用2m-2s-async的方式搭建集群。实际项目中，为了达到高可用，一般会使用dleger。集群规划说明：nameserver是一个轻量级的注册中心，，直接启动即可。3台nameserver之间不需要通信，而是被请求方来关联3台nameserver的地址。机器角色配置在rocketmq的config目录下可以看到rocketmq建议的各种配置方式：2m-2s-async: 2主2从异步刷盘(吞吐量较大，但是消息可能丢失),
RocketMQ多主（noslave）集群搭建
SunnyDay87的博客
05-23 585
RocketMQ多主（noslave）集群搭建 1. 环境准备 1.1 准备2台服务器地址为： 192.163.1.11 192.163.1.12 并且保证两台机器能供互相ping通 1.2 JDK环境11 sudo apt-get install openjdk-11-jdk 2. 安装RocketMQ 2.1 下载地址 https://mirrors.bfsu.edu.cn/apache/rocketmq/4.8.0/rocketmq-all-4.8.0-bin-release.zip
RocketMQ NameServer源码剖析
知识分享官
09-19 235
NameServer是一个简单的 Topic 路由注册中心，支持 Topic、Broker 的动态注册与发现。Broker管理，NameServer接受Broker集群的注册信息并且保存下来作为路由信息的基本数据。然后提供心跳检测机制，检查Broker是否还存活；路由信息管理，每个NameServer将保存关于 Broker 集群的整个路由信息和用于客户端查询的队列信息。Producer和Consumer通过NameServer就可以知道整个Broker集群的路由信息，从而进行消息的投递和消费。
RocketMQ使用三台云服务器搭建
qq_42108074的博客
01-08 575
RocketMQ三台云主机安装
Rocket MQ 集群搭建
qq_36211262的博客
07-12 863
集群搭建（三台机器56 57 58） 免密登录（56机器） 搭建（2主2从） 配置第一组broker-a 配置第二组broker-b 启动集群 ① 修改三个节点上的bin/runserver.sh，调整里面的jvm内存配置 ② 直接在三个节点上启动nameServer ③ 启动broker ④ 验证 搭建管理控制台 ① 下载地址：https://github.com/apache/rocketmq-externals ② 进入rocket-console目录，使用maven
centos6.5搭建rocketmq-4.9.2集群环境，双主双从，4台服务器
fyihdg的专栏
05-06 756
centos6.5搭建rocketmq-4.9.2集群环境，双主双从，4台服务器
RocketMQ集群环境部署
qq_43456605的博客
05-17 668
可以看出上面的配置中，worker0作为nameserver服务器（三个机器都部署了nameserver），woker1与worke2在不同的集群中互为主从节点。根据前面的规划，worker2作为broker-a的主节点，作为broker-b的从节点。然后配置broker-b-s.properties：即进行brokerb的从节点配置。然后配置broker-a-s.properties：即进行brokera的从节点配置。首先配置broker-a.properties：即进行brokera的主节点配置。
RocketMQ双主双从集群搭建
赶考书生
09-27 217
集群搭建方式 集群特点 NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。 Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时
【《雨夜》 RocketMQ源码系列(一) NameServer 核心源码解析】
qq_25497867的博客
09-16 427
rocketmq 4.9.3 抛弃旧版的贴源码，从实际生产环境 角度带你学习，让你能直接用于生产环境
RocketMq源码分析（二）--nameServer启动流程
Shenkh的Java壁橱
09-04 324
NameServer启动流程，源码解析
RocketMQ深入学习
开发猫
11-13 2658
  RocketMQ概述 RocketMQ 是一款分布式、队列模型的消息中间件，具有以下特点： 能够保证严格的消息顺序 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力 RocketMQ包含的组件   NameServer：单点，供Producer和Consumer获取Broker地址 Producer：产生并发送消息 Consumer...
聊聊rocketmq的KVConfigManager
weixin_34106122的博客
08-02 455
序 本文主要研究一下rocketmq的KVConfigManager KVConfigManager org/apache/rocketmq/namesrv/kvconfig/KVConfigManager.java public class KVConfigManager { private static final Logge...
rocketmq-4.3.0 2m-noslave集群部署
cry1049208942的专栏
03-22 1714
环境 两台服务器192.168.56.102、192.168.56.103 系统版本 CentOS Linux release 7.3.1611 (Core) JDK版本 java version "1.8.0_161" 1.安装单机版 略 2.安装集群 2.1创建保存数据及日志的文件夹 2.2编辑broker-a.properties vi conf/2m-nos...
RocketMQ原理及集群搭建步骤
zp的博客
09-08 9134
为什么使用RocketMQ？       RocketMQ是一款分布式、队列模型的消息中间件，是由阿里巴巴团队设计的，具有以下特点： 1、亿级消息堆积能力，消息堆积后，写入低延迟。 2、支持重试机制 3、支持持久化机制 4、支持Topic与Queue两种模式 5、能够保证严格的消息顺序、事务消息 6、强调集群无单点，可扩展 7、丰富的消息拉取模式 8、历经多次天猫双十一海量消息...
dockers 安装rocketmq
最新发布
08-26
-name rocketmq-broker --network rocketmq-network -e "NAMESRV_ADDR=rocketmq-namesrv:9876" -p 10911:10911 -p 10909:10909 rocketmqinc/rocketmq:latest sh mqbroker -c /opt/rocketmq-4.9.0/conf/2m-noslave/...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

公众号-测试生财

点赞和关注比打赏更重要

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值