rocketmq

于 2024-07-19 09:58:42 发布
阅读量391 收藏 18
点赞数 9
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34556414/article/details/140512780
版权

https://www.cnblogs.com/ityushuo/p/15305360.html

角色介绍

  • Producer：消息的发送者； 举例：发信者
  • Consumer：消息接收者；举例：收信者
  • Broker：暂存和传输消息；举例：邮局
  • NameServer：管理Broker；举例：各个邮局的管理机构
  • Topic：区分消息的种类； 一个发送者可以发送消息给一个或者多个Topic；一个消息的接受者可以订阅一个或者多个Topic消息
  • Message Queue：相当于Topic的分区； 用于并行发送和接收消息

 

 

 

 

准备

搭建出双主、双从、无单点故障的高可用 RocketMQ 集群

主机 A：10.202.12.113    修改 broker-a.properties   broker-b-s.properties

主机 B：10.202.12.114    修改  broker-b.properties   broker-a-s.properties

配置文件

进入主机 A 的目录 conf/2m-2s-sync，修改文件 broker-a.properties 的内容如下：

brokerClusterName=rocketmq
brokerName=broker-a
brokerId=0
namesrvAddr=10.202.12.113:9876;10.202.12.114:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=false
autoCreateSubscriptionGroup=false
listenPort=10911
deleteWhen=01
fileReservedTime=72
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
diskMaxUsedSpaceRatio=88
storePathRootDir=/apps/dat/rocketmq/broker-a-master/store
storePathCommitLog=/apps/dat/rocketmq/broker-a-master/store/commitlog
storePathConsumeQueue=/apps/dat/rocketmq/broker-a-master/store/consumequeue
storePathIndex=/apps/dat/rocketmq/broker-a-master/store/index
storeCheckpoint=/apps/dat/rocketmq/broker-a-master/store/checkpoint
abortFile=/apps/dat/rocketmq/broker-a-master/store/abort
maxMessageSize=65536
brokerRole=SYNC_MASTER
flushDiskType=SYNC_FLUSH

主从消息存储路径很关键（master和slave不要在统一目录下）

进入主机 B 的目录 conf/2m-2s-sync，修改文件 broker-b.properties 的内容如下：

brokerClusterName=rocketmq
brokerName=broker-b
brokerId=0
namesrvAddr=10.202.12.113:9876;10.202.12.114:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=false
autoCreateSubscriptionGroup=false
listenPort=10911
deleteWhen=01
fileReservedTime=72
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
diskMaxUsedSpaceRatio=88
storePathRootDir=/apps/dat/rocketmq/broker-b-master/store
storePathCommitLog=/apps/dat/rocketmq/broker-b-master/store/commitlog
storePathConsumeQueue=/apps/dat/rocketmq/broker-b-master/store/consumequeue
storePathIndex=/apps/dat/rocketmq/broker-b-master/store/index
storeCheckpoint=/apps/dat/rocketmq/broker-b-master/store/checkpoint
abortFile=/apps/dat/rocketmq/broker-b-master/store/abort
maxMessageSize=65536
brokerRole=SYNC_MASTER
flushDiskType=SYNC_FLUSH

截止目前为止，Master Broker 的配置文件都配置完毕

进入主机 A 的目录 conf/2m-2s-sync，修改文件 broker-b-s.properties 的内容如下：

[apps@TLKYVM202012113 2m-2s-sync]$ cat broker-b-s.properties
brokerClusterName=rocketmq
brokerName=broker-b
brokerId=1
namesrvAddr=10.202.12.113:9876;10.202.12.114:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=false
autoCreateSubscriptionGroup=false
listenPort=10920
deleteWhen=01
fileReservedTime=72
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
diskMaxUsedSpaceRatio=88
storePathRootDir=/apps/dat/rocketmq/broker-b-slave/store
storePathCommitLog=/apps/dat/rocketmq/broker-b-slave/store/commitlog
storePathConsumeQueue=/apps/dat/rocketmq/broker-b-slave/store/consumequeue
storePathIndex=/apps/dat/rocketmq/broker-b-slave/store/index
storeCheckpoint=/apps/dat/rocketmq/broker-b-slave/store/checkpoint
abortFile=/apps/dat/rocketmq/broker-b-slave/store/abort
maxMessageSize=65536
brokerRole=SLAVE
flushDiskType=SYNC_FLUSH

 进入主机 B 的目录 conf/2m-2s-sync，修改文件 broker-a-s.properties 的内容如下：

brokerClusterName=rocketmq
brokerName=broker-a
brokerId=1
namesrvAddr=10.202.12.113:9876;10.202.12.114:9876
defaultTopicQueueNums=4
autoCreateTopicEnable=false
autoCreateSubscriptionGroup=false
listenPort=10920
deleteWhen=01
fileReservedTime=72
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
diskMaxUsedSpaceRatio=88
storePathRootDir=/apps/dat/rocketmq/broker-a-slave/store
storePathCommitLog=/apps/dat/rocketmq/broker-a-slave/store/commitlog
storePathConsumeQueue=/apps/dat/rocketmq/broker-a-slave/store/consumequeue
storePathIndex=/apps/dat/rocketmq/broker-a-slave/store/index
storeCheckpoint=/apps/dat/rocketmq/broker-a-slave/store/checkpoint
abortFile=/apps/dat/rocketmq/broker-a-slave/store/abort
maxMessageSize=65536
brokerRole=SLAVE

 

 

 

修改启动脚本文件

1）runbroker.sh

vi /usr/local/rocketmq/bin/runbroker.sh

 需要根据内存大小进行适当的JVM参数进行调整：

#===================================================
# 开发环境配置 JVM Configuration
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

2）runserver.sh

vim /usr/local/rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

注意点

默认情况下，RocketMQ 的 nameserver 和 broker 文件启动项里配置的内存太大，极易出现 Cannot allocate memory 的情况。

此时，需要修改 bin/runserver.sh 和 bin/runbroker.sh 的文件内容，将最大堆、最小堆和年轻代的值调小，如下：

                                                                bin/runserver.sh 

                                                                 bin/runbroker.sh 
 

 

服务启动

1）启动NameServe集群
分别在10.202.12.113和10.202.12.114启动NameServer

cd /usr/local/rocketmq/bin
nohup sh mqnamesrv 2>&1 &

2）启动broker集群

  • 在10.202.12.113上启动master1和slave2
    master1：
cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/software/rocketmq/conf/2m-2s-sync/broker-a.properties &

slave2:

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/software/rocketmq/conf/2m-2s-sync/broker-b-s.properties &
  • 在10.202.12.114上启动master2和slave1
    master2
cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/software/rocketmq/conf/2m-2s-sync/broker-b.properties &

slave1

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/software/rocketmq/conf/2m-2s-sync/broker-a-s.properties &

查看进程状态

# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log

服务停止(依次执行以下两条命令即可)

sh bin/mqshutdown broker

The mqbroker(36695) is running...
Send shutdown request to mqbroker(36695) OK

sh bin/mqshutdown namesrv

The mqnamesrv(36664) is running...
Send shutdown request to mqnamesrv(36664) OK

 

 

 

使用mqadmin命令查看集群

#使用mqadmin 查看集群状态

[apps@TLKYVM202012113 bin]$ ./mqadmin clusterList -n 127.0.0.1:9876
#Cluster Name     #Broker Name            #BID  #Addr                  #Version                #InTPS(LOAD)       #OutTPS(LOAD) #PCWait(ms) #Hour #SPACE
rocketmq          broker-a                0     10.202.12.113:10911    V4_9_8                   0.00(0,0ms)         0.00(0,0ms)          0 478131.36 0.4500
rocketmq          broker-a                1     10.202.12.114:10920    V4_9_8                   0.00(0,0ms)         0.00(0,0ms)          0 478131.36 0.3200
rocketmq          broker-b                0     10.202.12.114:10911    V4_9_8                   0.00(0,0ms)         0.00(0,0ms)          0 478131.36 0.3200
rocketmq          broker-b                1     10.202.12.113:10920    V4_9_8                   0.00(0,0ms)         0.00(0,0ms)          0 478131.36 0.4500

 启动成功后，执行 mqadmin 命令查看集群信息：

[apps@TLKYVM202012113 bin]$  ./mqadmin topicList -n 127.0.0.1:9876
test-rocketmq_REPLY_TOPIC
SCHEDULE_TOPIC_XXXX
RMQ_SYS_TRANS_HALF_TOPIC
rocketmq
broker-b
BenchmarkTest
OFFSET_MOVED_EVENT
rocketmq_REPLY_TOPIC
broker-a
SELF_TEST_TOPIC
test-rocketmq

富士康质检员张全蛋
关注
  • 9
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RocketMQ 5.2.0
02-29
Apache RocketMQ 是一款开源的分布式消息中间件，主要设计用于处理大规模实时数据传输。在5.2.0版本中，它提供了一系列优化和增强的功能，使其在高并发、低延迟、高可用性和可扩展性方面表现更加出色。本篇文章将...
RocketMQ黑马笔记
06-08
"RocketMQ黑马笔记" RocketMQ是阿里巴巴开源的消息中间件，在阿里内部历经了双十一等很多高并发场景的考验，能够处理亿万级别的消息。2016年开源后捐赠给Apache，现在是Apache的一个顶级项目。目前RocketMQ在阿里云...
rocketMQ
IT界的彭于晏的博客
09-05 4663
rocketMQ
Rocketmq
asddasddeedd的博客
11-29 6387
由于Rocketmq使用java写的，所以运行环境需要jdk将文件上传到 /root 目录执行解压命令配置环境变量修改 /etc/profile 配置文件, 配置环境变量修改完后, 让环境变量立即生效验证。
Rocketmq部署
qq_42526680的博客
07-19 1796
需要maven是因为rocketmq控制台是maven项目，项目中包含大量依赖，需要maven来统一进行管理；由于该安装包是.zip，需使用unzip指令进行解压，而unzip默认是没有安装的，所以解压前需要先安装指令集。注意：配置文件必须修改，因为配置文件中规定服务的最小内存，rocketmq 256m足够了。），生成新的jar包，以下指令执行的时间可能会很长，因为pom里的依赖需要逐条下载。由于项目刚拉下来，还未生成jar包，需要编译，可通过以下指令进行编译（安装完成后，进行解压。
RocketMQ
weixin_46061449的博客
02-05 5076
RocketMQ 详情以及使用
RocketMQ架构详解
刘皇叔说Java的博客
03-06 2257
文章目录概述RocketMQ架构Broker 高可用集群刷盘策略 概述 RocketMQ一个纯java、分布式、队列模型的开源消息中间件，前身是MetaQ，是阿里研发的一个队列模型的消息中间件，后开源给apache基金会成为了apache的顶级开源项目，具有高性能、高可靠、高实时、分布式特点。 RocketMQ是阿里开源的分布式消息中间件，跟其它中间件相比，RocketMQ的特点是纯JAVA实现；集群和HA实现相对简单；在发生宕机和其它故障时消息丢失率更低。 RocketMQ架构 ● Producer：
rocketmq 命令
weixin_40769819的博客
03-15 2489
n：指定nameserver。-t 指定topic。
rocketmq命令
weixin_40769819的博客
03-27 321
t 指定topic。
windows安装RocketMQ
热门推荐
qq_63815371的博客
06-04 1万+
输入：start mqbroker.cmd -n 127.0.0.1:9876 autoCreateTopicEnable=true。启动单机的消息队列服务比较简单，不需要写配置文件，只需要依次启动本机的NameServer和Broker即可。浏览器输入地址：http://127.0.0.1:8081/ ，并修改管理界面需要为简体中文。可以自己修改一下应用的端口，和rocketmqserver的ip和端口。进入bin目录下，双击启动mqnameserv.cmd。启动后窗口不要关闭；
【RocketMQ】rocketmq-dashboard 部署
最新发布
一个写了10年bug的程序员日常笔记。
05-30 1874
打开rocketmq-externals项目没有找到rocketmq-console。莫不是删除了吗继续看文档译文：RocketMQ仪表板注意：控制台已更名为仪表板，并转移了新的回购，它将在不久的将来毕业，欢迎您填写用户尽职调查。
Python RocketMQ
10-23
**Python RocketMQ** 在分布式系统中，消息队列（Message Queue）扮演着至关重要的角色，它能够有效地解耦系统组件，提高系统的可扩展性和容错性。RocketMQ是阿里巴巴开源的一款分布式消息中间件，最初由Java开发，...
宝塔部署RocketMQ+可视化面板
03-25
【宝塔部署RocketMQ+可视化面板】：在IT行业中，RocketMQ是一款由阿里巴巴开源的分布式消息中间件，广泛应用于大数据处理、实时交易等场景。它提供了高可用、高并发的消息传输能力，支持发布/订阅模式和点对点模式，...
rocketmq总结.ppt
12-07
RocketMQ 是一个开源的分布式消息中间件，常用于构建高可用、高可靠的消息传递系统。在本文中，我们将深入探讨 RocketMQ 的应用、安装过程以及使用方法，以便更好地理解和掌握这个强大的工具。 首先，让我们来看...
rocketmq-dashboard可视化界面管理工具
12-26
RocketMQ-Dashboard是一款专为Apache RocketMQ设计的可视化管理工具，它允许用户通过Web界面来监控、管理和操作RocketMQ集群，极大地简化了RocketMQ的日常运维工作。在本资源中，您将找到一个可以直接启动的jar包，...
RocketMQ使用手册
06-21
"RocketMQ 使用手册" RocketMQ 是一款分布式、队列模型的消息中间件，具有以下特点： * 能够保证严格的消息顺序 * 提供丰富的消息拉取模式 * 高效的订阅者水平扩展能力 * 实时的消息订阅机制 * 亿级消息堆积能力 ...
rocketMQ介绍ppt
11-21
【RocketMQ介绍】 RocketMQ是由阿里巴巴开源的一款分布式消息中间件，现已成为Apache顶级项目。它是一种轻量级的数据处理平台，特别适合大规模分布式系统中的消息传递。RocketMQ的设计目标是提供高吞吐量、低延迟、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值