Rocket MQ 集群搭建

已于 2022-11-22 16:55:05 修改
阅读量894 收藏 2
点赞数
分类专栏： RocketMQ 文章标签： 中间件
于 2022-07-12 22:06:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36211262/article/details/125753057
版权

集群搭建（三台机器56 57 58）

  1. 环境配置（三台机器）
vim /etc/hosts
#添加如下
10.22.101.56 worker1
10.22.101.57 worker2
10.22.101.58 worker3
  1. 免密登录（56机器）
#切换到oper用户，生成公私钥
ssh-keygen

#执行
ssh-copy-id worker1
ssh-copy-id worker2
ssh-copy-id worker3
  1. 搭建（2主2从）
#检查防火墙
#检查java环境
cd /app/rocketmq/rocketmq-4.8.0/conf
ll
2m-2s-async # 2主2从异步刷盘(吞吐量较大，但是消息可能丢失)
2m-2s-sync  #2主2从同步刷盘(吞吐量会下降，但是消息更安全)，
2m-noslave  #2主无从(单点故障)，还可以直接配置broker.conf，进行单点环境配置
dleger #实现主从切换，正式环境都会采用这种方式来搭建集群
  1. 配置第一组broker-a
#1.worker2配置borker-a的master节点
[oper@worker2 root]$ vim /app/rocketmq/rocketmq-4.8.0/conf/2m-2s-async/broker-a.properties

#所属集群名字，名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字，名字一样的节点就是一组主从节点
brokerName=broker-a
#brokerid，0就表示是Master，>0的都是表示Slave
brokerId=0
#nameServer地址，分号分割
namesrvAddr=worker1:9876;worker2:9876;worker3:9876
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
#Broker对外服务的监听端口
listenPort=10911
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认48小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/app/rocketmq/store
#commitLog存储路径
storePathCommitLog=/app/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/app/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/app/rocketmq/store/index
#checkpoint文件存储路径
storeCheckpoint=/app/rocketmq/store/checkpoint
#abort文件存储路径
abortFile=/app/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#Broker的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH

#2.worker3配置borker-a的从节点，2m-2s-async/broker-a-s.properties
[oper@worker3 root]$ vim /app/rocketmq/rocketmq-4.8.0/conf/2m-2s-async/broker-a-s.properties

#同上，需要修改
brokerId=1
listenPort=11011
storePathRootDir=/app/rocketmq/storeSlave
storePathCommitLog=/app/rocketmq/storeSlave/commitlog
storePathConsumeQueue=/app/rocketmq/storeSlave/consumequeue
storePathIndex=/app/rocketmq/storeSlave/index
storeCheckpoint=/app/rocketmq/storeSlave/checkpoint
abortFile=/app/rocketmq/storeSlave/abort
brokerRole=SLAVE
  1. 配置第二组broker-b
#worker3配置borker-b的主节点
[oper@worker3 root]$ vim /app/rocketmq/rocketmq-4.8.0/conf/2m-2s-async/broker-b.properties


#同上，只要修改
brokerName=broker-b


#同上，需要修改
brokerName=broker-b
brokerId=1
listenPort=11011
storePathRootDir=/app/rocketmq/storeSlave
storePathCommitLog=/app/rocketmq/storeSlave/commitlog
storePathConsumeQueue=/app/rocketmq/storeSlave/consumequeue
storePathIndex=/app/rocketmq/storeSlave/index
storeCheckpoint=/app/rocketmq/storeSlave/checkpoint
abortFile=/app/rocketmq/storeSlave/abort
brokerRole=SLAVE

需要注意的配置项：
1、同一机器上两个实例的store目录不能相同，否则会报错 Lock failed，MQ already started
2、同一机器上两个实例的listenPort也不能相同。否则会报端口占用的错。nameserver不需要进行配置，直接启动就行。这也看出nameserver是无状态的

  1. 启动集群

① 修改三个节点上的bin/runserver.sh，调整里面的jvm内存配置

JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m -Xmn256m

② 直接在三个节点上启动nameServer

nohup /app/rocketmq/rocketmq-4.8.0/bin/mqnamesrv &
# 检查日志
#JPS查看进程

③ 启动broker

#worker2机器，启动broker-a的master节点和broker-b的slave节点
nohup /app/rocketmq/rocketmq-4.8.0/bin/mqbroker -c /app/rocketmq/rocketmq-4.8.0/conf/2m-2s-async/broker-a.properties &
nohup /app/rocketmq/rocketmq-4.8.0/bin/mqbroker -c /app/rocketmq/rocketmq-4.8.0/conf/2m-2s-async/broker-b-s.properties &

#jps检查，1个NameSrvStartup进程和两个BrokerStartup进程
jps

#worker3机器，启动broker-b的master节点和broker-a的slave节点
nohup /app/rocketmq/rocketmq-4.8.0/bin/mqbroker -c /app/rocketmq/rocketmq-4.8.0/conf/2m-2s-async/broker-b.properties &
nohup /app/rocketmq/rocketmq-4.8.0/bin/mqbroker -c /app/rocketmq/rocketmq-4.8.0/conf/2m-2s-async/broker-a-s.properties &

#jps检查，1个NameSrvStartup进程和两个BrokerStartup进程
jps

④ 验证

#worker3发消息
/app/rocketmq/rocketmq-4.8.0/bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

#worker2接收消息
/app/rocketmq/rocketmq-4.8.0/bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
  1. 搭建管理控制台
    ① 下载地址：https://github.com/apache/rocketmq-externals
    ② 进入rocket-console目录，使用maven进行编译
mvn clean package -Dmaven.test.skip=true

③ 上传jar包/app/rocketmq/rocketmq-console，并在当前目录新增application.properties，覆盖jar包默认的属性

rocketmq.config.namesrvAddr=worker1:9876;worker2:9876;worker3:9876

④ 执行

java -jar rocketmq-console-ng-1.0.1.jar
  1. 集群工作流程：
    ① 启动NameServer，NameServer起来后监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。
    ② Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关系。
    ③ 收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic。
    ④ Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息。
    ⑤ Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。
海是鹏印出的影
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ集群（2主2从）搭建
qq_35059264的博客
07-29 351
勿以浮沙筑高台 基础准备：准备2台170,171机子并且安装了rocketMQ. 1.更改hosts信息 vi /etc/hosts # nameserver 192.168.95.170 rocketmq-nameserver1 192.168.95.171 rocketmq-nameserver2 # broker 192.168.95.170 rocketmq-master1 192.168.95.170 rocketmq-slave2 192.168.95.171 rocketmq-master
Rocketmq集群搭建
Kevin
02-28 355
Rocketmq集群搭建 拓扑 主机名 网卡名 IP 作用 mq-master01 ens33 192.168.162.10 broker-a mq-master02 ens33 192.168.162.11 broker-b mq-slave01 ens33 192.168.162.12 broker-a-s mq-slave02 ens33 192.168.162....
centos6.5搭建rocketmq-4.9.2集群环境，双主双从，4台服务器
fyihdg的专栏
05-06 780
centos6.5搭建rocketmq-4.9.2集群环境，双主双从，4台服务器
RocketMQ集群搭建，看完这篇文章你就懂了（基于2m-2s-async模式）
最新发布
小威的博客
07-24 1万+
上一篇初步认识了RocketMQ，这一篇文章我们简单来搭建一个RocketMQ集群。RocketMQ支持多种集群部署模式，其中最常用的是多主多从的异步复制模式（2m代表两个master，2s代表两个slave，async代表异步刷盘的机制）。今天我们就以这种方式来 搭建。本篇文章除了集群的搭建，也适合面试使用，在这里希望能帮助到各位正在学习RocketMQ的小伙伴儿们！
RocketMQ--环境构建和启动
puwan4207的博客
10-18 260
环境搭建 修改hosts vim /etc/hosts 上传编译好的包 # 上传 apache-rocketmq.tar.gz 文件至/usr/local # tar -zxvf apache-rocketmq.tar.gz -C /usr/local # 建立软链接 ln -s apache-rocketmq rocketmq ll /usr/local =====================================================================
三台服务器部署RocketMQ集群的详细步骤
u011197085的博客
06-06 1561
在各台服务器上分别启动配置的 Broker：(启动Broker时，推荐的顺序是先启动Master，再启动Slave。虽然从技术上讲，启动顺序不严格，但这种顺序可以确保在启动过程中尽可能避免问题。至此，RocketMQ 集群的搭建完成。确保所有三台服务器都已安装1.8以上版本的JDK，并配置环境变量。这些命令将停止所有相关的RocketMQ服务进程。检查内存使用情况，确保调整后的内存配置生效。确保按照上述步骤配置存储路径时使用。在所有三台服务器上找到并编辑。在所有三台服务器上找到并编辑。
RocketMQ使用三台云服务器搭建
qq_42108074的博客
01-08 629
RocketMQ三台云主机安装
RocketMQ集群搭建
shaoyangdd的专栏
03-11 661
准备三台虚拟机，如我的是CentOS7 ， 三台机器的IP分别是： 192.168.20.132、192.168.20.131、192.168.20.130 3. 安装JDK 最好是Oracle官方的，不要用OpenJDK 配置/etc/profile，在文件后追加 使环境变量生效 检查是否安装成功 4. 安装RocketMQ 官网下载压缩包然后解压，然后配置环境变量，三台服务器都要。 5. 配置RocketMQ集群 服务
Rocket MQ 用户指南 v3.0.4
04-05
- **Broker集群搭建:** 提供了搭建Broker集群的步骤和注意事项。 - **Broker重启对客户端的影响:** 讨论了Broker重启时对客户端的影响及其应对措施。 #### 4. NameServer使用指南 - **NameServer的作用:** 解释了...
rocketmq 集群部署
linxi7的博客
05-11 3068
架构图 部署环境 hostname ip 备注 mqnamesrv1 10.0.0.1 namesrv mqnamesrv2 10.0.0.2 namesrv mqbroker3 10.0.0.3 broker-master-a mqbroker4 10.0.0.4 broker-master-b mqbroker5 10.0.0.5 broker-slave-a mqbroker6 10.0.0.6 broker-slave-b 系统初始化 内核参数、防火墙等进行
Docker 安装 Rocket MQ
drhrht的博客
06-08 250
在安装RocketMQ之前，我们先了解一下RocketMQ的部署架构，了解一下RocketMQ的组件，然后基于当前主流的Docker安装RocketMQ，我们这里安装单台RocketMQ，但为了防止单节点故障、保障高可用，生产环境建议安装RocketMQ集群。1:NameServer是一个非常简单的Topic路由注册中心，其角色类似Dubbo中的zookeeper，支持Broker的 动态注册与发现。2:Broker主要负责消息的存储、投递和查询以及服务高可用保证。3:Producer消息发布的角色，支持分
高可用RocketMQ集群搭建
星之宇的博客
08-18 427
一、集群搭建可选方式 RocketMQ的物理部署结构图如下： Producer和Consumer对应的是我们的应用程序，多个NameServer实例组成集群，但相互独立，没有信息交换，所以对于NameServer来说部署两个或两个以上即可保证高可用，对于Broker来说，我们可以选择以下几种集群部署方式： 1.单Master模式 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。 2.多Master模式 一个集群无Slave，全是Master，例
分布式消息队列RocketMQ(三)：集群搭建理论 & 实践
anndy_的专栏
09-09 448
集群搭建理论 1 数据复制与刷盘策略 复制策略 复制策略是Broker的Master与Slave间的数据同步方式。 分为同步复制与异步复制: 同步复制:消息写入master后，master会等待slave同步数据成功后才向producer返回成功ACK 异步复制:消息写入master后，master立即向producer返回成功ACK，无需等待slave同步数据成功 异步复制策略会降低系统的写入延迟，RT变小，提高了系统的吞吐量。 刷盘策略 刷盘策略指的是broker中消息的 落盘 方式，即消息发送
部署rocketmq集群（2主2从异步）
qq_18256741的博客
12-21 377
在centos7上部署rocketmq集群
Apache Pulsar, RabbitMQ, RocketMQ机器消耗对比
赶考书生
10-13 594
Apache Pulsar, RabbitMQ, RocketMQ机器消耗对比 完整搭建一个三节点的性能最优的集群，需要多少台机器 RabbitMQ 绿色的 X 是 Exchange，红色是 Queue ，这两者都在 Server 端（称作 Broker），这部分由 RabbitMQ 实现 蓝色的是客户端，通常有 Producer 和 Consumer 两种类型 消息根据exchange的类型、routing_key以及binding_key进行分发和消费； 服务端单机部署时，需要两个
RocketMQ集群环境部署
qq_43456605的博客
05-17 812
可以看出上面的配置中，worker0作为nameserver服务器（三个机器都部署了nameserver），woker1与worke2在不同的集群中互为主从节点。根据前面的规划，worker2作为broker-a的主节点，作为broker-b的从节点。然后配置broker-b-s.properties：即进行brokerb的从节点配置。然后配置broker-a-s.properties：即进行brokera的从节点配置。首先配置broker-a.properties：即进行brokera的主节点配置。
RocketMq生产环境部署
babyLetsGo的博客
06-29 724
准备材料： 打包好的程序包，以下为官方发行版本4.6.1打好的包。可以直接解压使用 解压命令分别为： tar -zxvf rocketmq-4.6.1.tar.gz unzip rocketmq-4.6.1.zip 2.mq控制台程序，暂时从我的上传资料里下载吧，后续写一篇github下载源码，自己打包的文章， 启动命令如下，可以传参，下面参数分别为控制台访问端口，namesrv地址。 java -jar rocketmq-console-ng...
RocketMQ多机集群配置和部署
zhao_god的专栏
11-08 622
这样一个高可用的RocketMQ集群就搭建好了，还可以在一台机器上启动rocketmq-console，比如在192.168.100.131上启动RocketMQ-console，然后在浏览器中输入地址192.168.100.131：8080，这样就可以可视化地查看集群状态了。现在使用云服务或多网卡的机器比较普遍，Broker自动探测获得的ip地址可能不符合要求，通过brokerIP1=47.98.41.234这样的配置参数，可以设置Broker机器对外暴露的ip地址。
怎么搭建rocket mq
04-01
RocketMQ是一个分布式消息传递平台，它可以在高吞吐量、低延迟和高可靠性的条件下传递大量的消息。下面是搭建RocketMQ的步骤： 1. 安装JDK RocketMQ需要使用JDK 1.8或更高版本。如果未安装，请先下载并安装JDK。 2. 下载RocketMQ 从官方网站下载RocketMQ的源代码（https://rocketmq.apache.org/release_notes/release-notes-4.9.1/）或者预编译版本。 3. 安装NameServer NameServer是RocketMQ的核心组件之一，它用于管理所有的Broker，包括Broker的路由信息、Topic、Consumer等。 解压下载的RocketMQ文件，进入bin目录，执行以下命令： ``` sh mqnamesrv ``` 4. 安装Broker Broker是RocketMQ的另一个核心组件，它用于存储和分发消息。一个Broker可以管理多个Topic，每个Topic可以有多个Queue。 解压下载的RocketMQ文件，进入bin目录，执行以下命令： ``` sh mqbroker -n localhost:9876 ``` 其中，localhost:9876是NameServer的地址，默认端口为9876。 5. 发送和接收消息 使用RocketMQ的API可以发送和接收消息。以下是一个简单的例子： ``` public class Producer { public static void main(String[] args) throws Exception { DefaultMQProducer producer = new DefaultMQProducer("example_group"); producer.setNamesrvAddr("localhost:9876"); producer.start(); Message message = new Message("example_topic", "Hello RocketMQ".getBytes()); SendResult result = producer.send(message); System.out.println(result); producer.shutdown(); } } public class Consumer { public static void main(String[] args) throws Exception { DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("example_group"); consumer.setNamesrvAddr("localhost:9876"); consumer.subscribe("example_topic", "*"); consumer.registerMessageListener((MessageListenerConcurrently) (messages, context) -> { System.out.println(messages); return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; }); consumer.start(); } } ``` 这个例子中，Producer向example_topic发送一条消息，Consumer从example_topic接收并打印出来。在运行Producer和Consumer之前，确保NameServer和Broker已经启动。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值