rocketmq搭建

最新推荐文章于 2024-10-12 08:34:03 发布
最新推荐文章于 2024-10-12 08:34:03 发布
阅读量2.5k 收藏 1
点赞数
文章标签： 中间件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23118299/article/details/123989620
版权

双主双从集群搭建

暂定两台机器

服务器A

nameserverA  brokerA  brokerB-slave

服务器B

nameserverB  brokerB  brokerA-slave

启动顺序

  • 启动nameserver 服务（类似注册中心）
  • 依次启动 brokerA 、brokerB、brokerA-slave 、 brokerB-slave

关闭顺序

  • sh mqshutdown broker
  • sh mqshutdown namesrv

依赖环境

  1. 64 位操作系统，Linux/ Unix/Mac OS
  2. 64位JDK 1.8+

1、下载安装包

rocketmq-all-4.9.2-bin-release.zip

2、加压安装包

unzip rocketmq-all-4.9.2-bin-release.zip

3、默认配置修改

修改rocketmq/bin目录下 runbroker.sh 、runserver.sh jvm参数（按服务器内存大小适配置，官方推荐8g）

  • runbroker.sh
    JAVA_OPT="${JAVA_OPT} -server -Xms4g -Xmx4g -Xmn2g -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
  • runbroker.sh
    JAVA_OPT="${JAVA_OPT} -server -Xms8g -Xmx8g"
JAVA_OPT="${JAVA_OPT} -XX:MaxDirectMemorySize=15g"

4、broker配置文件

  • 服务器A brokerA
#RocketMQ Name Server地址列表，多个NameServer地址用分号隔开
namesrvAddr=192.168.209.242:9876;192.168.209.243:9876
#集群名
rokerClusterName=game-rocketmq-cluster
brokerIP1=192.168.209.242
brokerName=broker-a
brokerId=0
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=48
#- ASYNC_MASTER 异步复制Master   - SYNC_MASTER 同步双写Master   - SLAVE 
brokerRole=SYNC_MASTER
#- ASYNC_FLUSH 异步刷盘  SYNC_FLUSH 同步刷盘 
flushDiskType=ASYNC_FLUSH
listenPort=10911
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 
defaultTopicQueueNums=4
#Broker 对外服务的监听端口
listenPort=10911
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824 
#ConsumeQueue每个文件默认存30W条，根据业务情况调整 
mapedFileSizeConsumeQueue=300000 

#存储路径
storePathRootDir=/root/data/mq/rocketmq/store
#commitLog 存储路径 
storePathCommitLog=/root/data/mq/rocketmq/store/commitlog 
#消费队列存储路径存储路径 
storePathConsumeQueue=/root/data/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/root/data/mq/rocketmq/store/index
#checkpoint 文件存储路径 
storeCheckpoint=/root/data/mq/rocketmq/store/checkpoint 
#abort 文件存储路径 
abortFile=/root/data/mq/rocketmq/store/abort 

#限制的消息大小
maxMessageSize=65536
#并发send线程数，多线程来发送消息可能会出现broker busy
sendMessageThreadPoolNums=128
useReentrantLockWhenPutMessage=true
  • 服务器A brokerB-slave
#RocketMQ Name Server地址列表，多个NameServer地址用分号隔开
namesrvAddr=192.168.209.242:9876;192.168.209.243:9876
#集群名
rokerClusterName=game-rocketmq-cluster
brokerIP1=192.168.209.242
brokerName=broker-b
brokerId=1
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=48
#- ASYNC_MASTER 异步复制Master   - SYNC_MASTER 同步双写Master   - SLAVE 
brokerRole=SLAVE
#- ASYNC_FLUSH 异步刷盘  SYNC_FLUSH 同步刷盘 
flushDiskType=ASYNC_FLUSH
listenPort=10911
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 
defaultTopicQueueNums=4
#Broker 对外服务的监听端口
listenPort=10911
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824 
#ConsumeQueue每个文件默认存30W条，根据业务情况调整 
mapedFileSizeConsumeQueue=300000 

#存储路径
storePathRootDir=/data/mq/rocketmq/store
#commitLog 存储路径 
storePathCommitLog=/data/mq/rocketmq/store/commitlog 
#消费队列存储路径存储路径 
storePathConsumeQueue=/data/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/data/mq/rocketmq/store/index
#checkpoint 文件存储路径 
storeCheckpoint=/data/mq/rocketmq/store/checkpoint 
#abort 文件存储路径 
abortFile=/data/mq/rocketmq/store/abort 

#限制的消息大小
maxMessageSize=65536

#并发send线程数，多线程来发送消息可能会出现broker busy
sendMessageThreadPoolNums=128
useReentrantLockWhenPutMessage=true
  • 服务器B brokerB
#RocketMQ Name Server地址列表，多个NameServer地址用分号隔开
namesrvAddr=192.168.209.242:9876;192.168.209.243:9876
#集群名
rokerClusterName=game-rocketmq-cluster
brokerIP1=192.168.209.243
brokerName=broker-b
brokerId=0
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=48
#- ASYNC_MASTER 异步复制Master   - SYNC_MASTER 同步双写Master   - SLAVE 
brokerRole=SYNC_MASTER
#- ASYNC_FLUSH 异步刷盘 
#- SYNC_FLUSH 同步刷盘 
flushDiskType=ASYNC_FLUSH
listenPort=10911
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 
defaultTopicQueueNums=4
#Broker 对外服务的监听端口
listenPort=10911
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824 
#ConsumeQueue每个文件默认存30W条，根据业务情况调整 
mapedFileSizeConsumeQueue=300000 

#存储路径
storePathRootDir=/root/data/mq/rocketmq/store
#commitLog 存储路径 
storePathCommitLog=/root/data/mq/rocketmq/store/commitlog 
#消费队列存储路径存储路径 
storePathConsumeQueue=/root/data/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/root/data/mq/rocketmq/store/index
#checkpoint 文件存储路径 
storeCheckpoint=/root/data/mq/rocketmq/store/checkpoint 
#abort 文件存储路径 
abortFile=/root/data/mq/rocketmq/store/abort 

#限制的消息大小
maxMessageSize=65536

#并发send线程数，多线程来发送消息可能会出现broker busy
sendMessageThreadPoolNums=128
useReentrantLockWhenPutMessage=true
  • 服务器B brokerA-slave
#RocketMQ Name Server地址列表，多个NameServer地址用分号隔开
namesrvAddr=192.168.209.242:9876;192.168.209.243:9876
#集群名
rokerClusterName=game-rocketmq-cluster
brokerIP1=192.168.209.243
brokerName=broker-a
brokerId=1
#删除文件时间点，默认凌晨4点
deleteWhen=04
#文件保留时间，默认 48 小时
fileReservedTime=48
#- ASYNC_MASTER 异步复制Master   - SYNC_MASTER 同步双写Master   - SLAVE 
brokerRole=SLAVE
#- ASYNC_FLUSH 异步刷盘 
#- SYNC_FLUSH 同步刷盘 
flushDiskType=ASYNC_FLUSH
listenPort=10911
#是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
autoCreateTopicEnable=false
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=false
#在发送消息时，自动创建服务器不存在的topic，默认创建的队列数 
defaultTopicQueueNums=4
#Broker 对外服务的监听端口
listenPort=10911
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824 
#ConsumeQueue每个文件默认存30W条，根据业务情况调整 
mapedFileSizeConsumeQueue=300000 

#存储路径
storePathRootDir=/data/mq/rocketmq/store
#commitLog 存储路径 
storePathCommitLog=/data/mq/rocketmq/store/commitlog 
#消费队列存储路径存储路径 
storePathConsumeQueue=/data/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/data/mq/rocketmq/store/index
#checkpoint 文件存储路径 
storeCheckpoint=/data/mq/rocketmq/store/checkpoint 
#abort 文件存储路径 
abortFile=/data/mq/rocketmq/store/abort 

#限制的消息大小
maxMessageSize=65536


#并发send线程数，多线程来发送消息可能会出现broker busy
sendMessageThreadPoolNums=128
useReentrantLockWhenPutMessage=true

5、初始文件夹

mkdir -p /usr/local/rocketmq/store
mkdir -p /usr/local/rocketmq/store/commitlog
mkdir -p /usr/local/rocketmq/store/consumequeue
mkdir -p /usr/local/rocketmq/store/index
mkdir -p /usr/local/rocketmq/store/checkpoint
mkdir -p /usr/local/rocketmq/store/abort

6、启动脚本

nameserver 启动

nohup sh mqnamesrv -n IP:PORT > /root/data/mq/rokermq/nameserv.log 2>&1 &

broker 启动

nohup sh /root/data/www/rocketmq-4.9.2/bin/mqnamesrv -n IP:PORT > /root/data/mq/roketmq 2>&1 &

broker-a
nohup sh /root/data/www/rocketmq-4.9.2/bin/mqbroker -n IP:PORT  -c /root/data/www/rocketmq-4.9.2/conf/2m-2s-sync/broker-a.properties > /root/data/mq/roketmq 2>&1 &

broker-a-s
nohup sh /root/data/www/rocketmq-4.9.2/bin/mqbroker -n IP:PORT  -c /root/data/www/rocketmq-4.9.2/conf/2m-2s-sync/broker-a-s.properties > /root/data/mq/roketmq 2>&1 &

broker-b-s
nohup sh /root/data/www/rocketmq-4.9.2/bin/mqbroker -n IP:PORT  -c /root/data/www/rocketmq-4.9.2/conf/2m-2s-sync/broker-b-s.properties > /root/data/mq/roketmq 2>&1 &

broker-b
nohup sh /root/data/www/rocketmq-4.9.2/bin/mqbroker -n IP:PORT  -c /root/data/www/rocketmq-4.9.2/conf/2m-2s-sync/broker-b.properties > /root/data/mq/roketmq 2>&1 &

#集群机器查询
sh bin/mqadmin clusterList -n 192.168.209.243:9876
yjl_2130
关注
RocketMQ集群搭建
mry6的博客
03-15 1085
Producer：消息的发送者；举例：发信者Consumer：消息的接收者；举例：收信者Broker：暂存和传输消息；举例：邮局NameServer：管理Broker；举例：各个邮局的管理机构Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息Message Queue：相当于是Topic的分区；用于并行发送和接收消息。
RocketMQ 搭建
csl12919的博客
12-31 4112
消息队列。队列，是一种FIFO先进先出的数据结构。消息由生产者发送到MQ进行排队，然后按原来的顺序交由消息的消费者进行处理。QQ和微信就是典型的MQ。MQ的作用主要有以下三个方面：异步例子：快递员发快递，直接到客户家效率会很低。引入菜鸟驿站后，快递员只需要把快递放到菜鸟驿站，就可以继续发其他快递去了。客户再按自己的时间安排去菜鸟驿站取快递。作用：异步能提高系统的响应速度、吞吐量。解耦。
手摸手教你在云服务器上搭建RocketMQ
最新发布
不惑
10-12 1092
RocketMQ最初由阿里巴巴开发，旨在提供高吞吐量、高可靠性的消息传递服务。它是一个可水平扩展的、具有低延迟和高可用性的分布式消息队列系统。RocketMQ经历了淘宝双十一的洗礼，证明了其在处理大规模消息流和高并发场景下的能力林清山（花名：隆基）：Apache RocketMQ联合创始人，阿里云资深技术专家，阿里云消息产品线负责人。他是国际消息领域的专家，致力于消息、实时计算、事件驱动等方向的研究与探索，推进RocketMQ云原生架构、超融合架构的演进。周新宇（花名：尘央）
搭建RocketMq（超详细，图文并茂）
wen_877591354的博客
06-12 3639
搭建RocketMq（超详细，图文并茂）
搭建RocketMQ
秧木子的博客
05-30 356
下载namesrv #拉取4.4版本镜像 docker pull rocketmqinc/rocketmq:4.4.0 下载ockermq-console docker pull pangliang/rocketmq-console-ng 配置namesrv，先创建目录 # 创建目录 mkdir -p /usr/local/mq/rocketmq/data/namesrv/logs /usr/local/mq/rocketmq/data/namesrv/store # 构建namesrv容器 d
RocketMQ集群搭建，看完这篇文章你就懂了（基于2m-2s-async模式）
热门推荐
小威的博客
07-24 1万+
上一篇初步认识了RocketMQ，这一篇文章我们简单来搭建一个RocketMQ集群。RocketMQ支持多种集群部署模式，其中最常用的是多主多从的异步复制模式（2m代表两个master，2s代表两个slave，async代表异步刷盘的机制）。今天我们就以这种方式来 搭建。本篇文章除了集群的搭建，也适合面试使用，在这里希望能帮助到各位正在学习RocketMQ的小伙伴儿们！
RocketMQ搭建文档
02-06
RocketMQ是一款高可靠、高吞吐量、可伸缩、易于部署和管理的分布式消息中间件，可以用来实现消息的异步传输、解耦、削峰填谷等功能。具体来说，RocketMQ可以用于以下场景： 事件驱动架构：RocketMQ可以用来将事件...
JAVA架构RocketMQ单机环境搭建pdf+架构师视频资源
01-17
本文将详细介绍如何搭建RocketMQ的单机环境，并结合提供的PDF文档和架构师视频资源，深入理解其核心概念和操作流程。 首先，让我们了解RocketMQ的基本概念。RocketMQ是一个基于发布/订阅模式的消息队列，支持高吞吐...
RocketMQ搭建指南：构建高效分布式消息平台
RocketMQ搭建文档详细介绍了Apache RocketMQ这一强大的分布式消息中间件，它具备高可靠性、高吞吐量和可扩展性的特性，适用于多种关键业务场景。以下是关于RocketMQ搭建过程中的关键知识点： 1. 环境搭建： - 首先...
rocketmq搭建websocket集群
04-11
对于rocketmq搭建websocket集群，您可以参考以下步骤： 1. 安装RocketMQ并启动发送消息的实例 2. 编写支持websocket的消息消费客户端，支持消息接收和处理 3. 搭建websocket服务，用来处理客户端发来的消息 4. 配置...
RocketMq搭建
Masdsad的博客
03-16 348
RocketMq消息队列 理论 杂碎 MQ:message queue 消息队列(排队) 1.为什么需要使用消息队列 人与人之间交流是需要通过打电话 短息 邮件等方式... 在应用系统中,服务与服务之间需要进行通讯呢? 必须要使用消息队列 2.消息队列的应用场景: 消息队列的应用场景: 滴滴打车 司机 乘客 乘客下单(消息的提供者),司机接单(消息的消费者) 点对点 公众号: 公众号发布了一条内容,只要订阅了该公众号的人都是可以收到消息的 发布-订阅模式 王者荣耀更新通知: 不像公众号
rocket MQ服务器搭建
iteye_7017的博客
02-13 178
rocketmq单机搭建请参考：http://blog.csdn.net/loongshawn/article/details/51086876 可以使用rocketmq-console来监控rocketmq服务器消费情况 下面来讲解如何配置rocketmq消息队列集群部署和监控： 目前在Github上可下载最新的安装包alibaba-rocketmq-3.2.6.tar 下载地址：h...
RocketMQ 环境搭建
David_Note的博客
07-02 118
1.安装 http://rocketmq.apache.org/dowloading/releases/ Source:为源码包 Binary:运行版本 2.控制台 https://github.com/apache/rocketmq-externals 配置 构建rocketmq-console mvn clean package -Dmaven.skip.test=true 3.与springboot集合 producer: consumer: ...
RocketMQ搭建与配置
蹊源的奇思妙想的博客
08-14 1万+
RocketMQ Apache RockerMQ是一个分布式消息传递引擎，轻量级的数据处理平台。 它具有以下的特性: 低延迟： 高压下在1毫米内响应延迟超过99.6%。 财务导向：具有跟踪和审核功能的高可用性。 产业可持续发展：万亿级消息容量。 大数据友好：具有通用集成功能的批处理传输实现大批量吞吐。 兼容性好：提供开放式分布式消息传递和流传输标准。 万亿级容量：给定足够的磁盘空间，可以在不损失性能的情况下累计邮件。 RocketMQ安装与配置 第一步：下载安装包并解压 无法识别unzip: yum
RocketMQ服务搭建_1
weixin_33957648的博客
10-28 120
rocketmq是阿里研发，并贡献给Apache的一款分布式消息中间件。 RcoketMQ 是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。 ACE环境：（Adapted communication environment）自适配通信环境 ACK：命令应答（Acknowledgement） rocketMQ参照jms，但是并不遵循jms规范，因此也就不存在activeMQ的creat...
RocketMQ系列二 : RocketMQ环境搭建(安装部署)
qq_42384113的博客
04-11 714
在启动NameServer之前，建议修改一下启动时的jvm参数，因为默认的参数都比较大，为了避免内存不够，建议修改小，当然，如果你的内存足够大，可以跳过此处。将jar包上传到服务器，放到/usr/rocketmq的目录底下，当然放哪都无所谓，这里只是为了方便，因为rocketmq的东西都在这里。前面NameServer和Broker搭建完成之后，就可以用来收发消息了，但是为了更加直观，可以搭一套可视化的服务。查看nohup.out文件中的日志信息, 如果看到如下的日志，就说明启动成功了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值