RocketMQ实战之常用运维命令

最新推荐文章于 2024-05-24 17:25:36 发布
最新推荐文章于 2024-05-24 17:25:36 发布
阅读量1.5k 收藏 3
点赞数
分类专栏： # RocketMQ实战 文章标签： 运维 rocketmq 压测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/usagoole/article/details/126355168
版权

文章目录

压测

  1. 压测的基准是超出正常流量的2~3倍之间，预留空间应对突发流量

  2. 压测方式

    • 通过Jmeter写代码方式，集成RocketMQ客户端
    • 通过RocketMQ自带的压测脚本

  3. 压测脚本producer.sh

    名称 含义
    -h 使用帮助
    -k 测试时消息是否有 key，默认 false
    -n NameServer 地址
    -s 消息大小，默认为 128 个字节
    -t 主题名称
    -w 并发线程的数量，默认 64 个

  4. 可根据实际情况设计自己的压测场景

  5. 压测场景一:1 个线程、消息大小为 1K、主题为4个队列。以下结果中发送最大 TPS 为 156，最大 RT 为 1313，平均 RT 为6.390

    $ cd ./benchmark
$ sh producer.sh -t load-test -w 1 -s 1024 -n rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
Send TPS: 39 Max RT(ms): 1313 Average RT(ms):  26.475 Send Failed: 0 Response Failed: 0
Send TPS: 47 Max RT(ms): 1313 Average RT(ms):  21.242 Send Failed: 0 Response Failed: 0
Send TPS: 79 Max RT(ms): 1313 Average RT(ms):  12.469 Send Failed: 0 Response Failed: 0
Send TPS: 137 Max RT(ms): 1313 Average RT(ms):   7.205 Send Failed: 0 Response Failed: 0
Send TPS: 144 Max RT(ms): 1313 Average RT(ms):   6.882 Send Failed: 0 Response Failed: 0
Send TPS: 156 Max RT(ms): 1313 Average RT(ms):   6.390 Send Failed: 0 Response Failed: 0
...省略...

集群

  1. 集群列表：查看集群各个节点的运行情况

    $ mqadmin clusterList -n rocketmq-nameserver1:9876
#Cluster Name     #Broker Name     #BID  #Addr            #Version #InTPS(LOAD) #OutTPS(LOAD) #PCWait(ms) #Hour #SPACE
DefaultCluster    rocketmq-master1 0     172.19.0.4:10911 V4_9_4   95.53(0,0ms)   0.00(0,0ms)          0  0.83 0.9400
DefaultCluster    rocketmq-master1 1     172.19.0.6:10911 V4_9_4   96.71(0,0ms)   0.00(0,0ms)          0  0.83 0.9400
DefaultCluster    rocketmq-master2 0     172.19.0.5:10911 V4_9_4   95.86(0,0ms)   0.00(0,0ms)          0  0.83 0.9400
DefaultCluster    rocketmq-master2 1     172.19.0.7:10911 V4_9_4   95.95(0,0ms)   0.00(0,0ms)          0  0.83 0.9400

-n	Nameserver 地址
Cluster Name	集群名称
Broker Name	节点 Broker 名称
BID	Broker ID （0 为主节点，从节点非 0 表示）
Addr	节点地址（ip:port）
Version	RocketMQ 的版本号
InTPS	节点每秒写入的消息数量
OutTPS	节点每秒读出的消息数量
PCWait	pageCacheLockTimeMills（消息落盘会加锁，当前时间与最后一次加锁的差值）
Hour	磁盘存储多久的有效消息（当前时间与磁盘存储最早的一条消息时间戳的差值）
SPACE	磁盘已使用的占比

  2. 集群中所有主题/消费组的实时吞吐情况

    $ mqadmin statsAll -n rocketmq-nameserver1:9876
#Topic                     #Consumer Group  #Accumulation  #InTPS #OutTPS #InMsg24Hour  #OutMsg24Hour
SCHEDULE_TOPIC_XXXX                                    0    0.00                    0    NO_CONSUMER
RMQ_SYS_TRANS_HALF_TOPIC                               0    0.00                    0    NO_CONSUMER
RMQ_SYS_TRACE_TOPIC                                    0    0.00                    0    NO_CONSUMER
rocketmq-master1                                       0    0.00                    0    NO_CONSUMER
DefaultCluster_REPLY_TOPIC                             0    0.00                    0    NO_CONSUMER
rocketmq-master2                                       0    0.00                    0    NO_CONSUMER
BenchmarkTest                                          0    0.00                    0    NO_CONSUMER
OFFSET_MOVED_EVENT                                     0    0.00                    0    NO_CONSUMER
load-test                                              0  200.90               578781    NO_CONSUMER
TBW102                                                 0    0.00                    0    NO_CONSUMER
SELF_TEST_TOPIC                                        0    0.00                    0    NO_CONSUMER
DefaultCluster                                         0    0.00                    0    NO_CONSUMER

-n	Nameserver 地址
-a	只打印活动的主题
-t	只打印指定的主题
Topic	主题名称
Consumer Group	消费组名称
Accumulation	消息堆积数量
InTPS	该主题每秒写入的消息数量
OutTPS	该消费组每秒消费的消息数量
InMsg24Hour	该主题 24 小时写入的消息总数
OutMsg24Hour	该消费组 24 小时消费的消息总数

Broker

  1. 查看某个Broker的运行状态

    $ mqadmin brokerStatus -b 172.19.0.5:10911 -n  rocketmq-nameserver1:9876

# END_TRANSACTION 的线程池请求数
EndTransactionQueueSize         : 0
# END_TRANSACTION 线程池大小，默认 100000
EndTransactionThreadPoolQueueCapacity: 100000
# Broker 启动时间
bootTimestamp                   : 1660531134035
# Broker 版本
brokerVersion                   : 401
# Broker 版本描述
brokerVersionDesc               : V4_9_4
# commitLog 目录磁盘使用情况
commitLogDirCapacity            : Total : 465.7 GiB, Free : 24.4 GiB.
# commitLog 目录磁盘使用百分比
commitLogDiskRatio              : 0.95
commitLogDiskRatio_/usr/local/apache-rocketmq/data/store/commitlog: 0.95
# commitLog 最大偏移量
commitLogMaxOffset              : 1599304708
# commitLog 最小偏移量
commitLogMinOffset              : 0
consumeQueueDiskRatio           : 0.95
# 已在 commit log 中存储未转发到 consume queue 的数据（单位字节）
dispatchBehindBytes             : 0
# 可忽略未被使用
dispatchMaxBuffer               : 0
# 存储最早消息的时间戳
earliestMessageTimeStamp        : 1660531324537
# 拉取时被找到的消息 Tps 统计，分别表示前 10s、1 分钟、10 分钟平均 Tps
getFoundTps                     :
最低0.47元/天 解锁文章
jannals
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ中常用的命令
学亮编程手记
03-12 2483
该命令将启动RocketMQ的Broker，并将其连接到名为localhost的NameServer。该命令将显示与名为localhost的NameServer连接的Broker的信息，包括运行状态，版本和配置信息等。该命令将创建一个名为example-group的消费者组，并将其订阅到名为example-topic的主题。该命令将启动一个快速入门示例生产者，并将消息发送到名为example-topic的主题中。该命令将启动一个快速入门示例消费者，并从名为example-topic的主题中消费消息。
RocketMQ常用管理命令
zhao_god的专栏
11-09 2218
消息的发送和接收都要有对应的Topic，需要向某个Topic发送或接收消息，所以在正式使用RocketMQ进行消息发送和接收前，要先创建Topic，创建Topic的指令是updateTopic，表2-1列出了支持的参数。Broker有很多的配置信息，在Broker启动时，可以通过配置文件来指定配置信息。Topic的路由信息指的是某个Topic所在的Broker相关信息，客户端可以通过NameServer来获取这些信息，本命令一般在调试的时候使用，指令是TopicRoute，表2-7列出了支持的参数。
rocketmq常用命令与控制面板
最新发布
dj1955的博客
05-24 231
sh mqadmin deleteTopic -n 192.168.208.190:9876 -c DefaultCluster -t topicWarning # -c 集群名 -t topic名。首先进入 RocketMQ 工程，进入/RocketMQ/bin 在该目录下有个 mqadmin 脚本。查看帮助： 在 mqadmin 下可以查看有哪些命令？a: 查看具体命令的使用 : sh mqadmin。#从 nameserver 查看所有消费组group。#topic路由信息。
RocketMQ系列：rocketmq的benchmark工具
公众号-测试生财
09-29 4341
1.环境参考 benchmark环境搭建：参考单机快速搭建单broker环境 被压测环境：rocketmq的dledger集群 2.源码位置 https://github.com/apache/rocketmq/tree/master/example/src/main/java/org/apache/rocketmq/example/benchmark 3.工具清单 consumer.sh：消息消费的benchmark工具 producer.sh： 消息生产benchmark工具(同步非批处理模
《消息队列高手课》RocketMQ Producer源码分析：消息生产的实现过程
weixin_44399827的博客
05-24 409
对于消息队列来说，它最核心的功能就是收发消息。也就是消息生产和消费这两个流程。我们在之前的课程中提到了消息队列一些常见问题，比如，“如何保证消息不会丢失？”“为什么会收到重复消息？”“消费时为什么要先执行消费业务逻辑再确认消费？”，针对这些问题，我讲过它们的实现原理，这些最终落地到代码上，都包含在这一收一发两个流程中。 在接下来的两节课中，我会带你一起通过分析源码的方式，详细学习一下这两个流程到底是如何实现的。你在日常使用消息队列的时候，遇到的大部分问题，更多的是跟 Producer 和 Consumer
【RocketMQ】基本命令
qq_44077764的博客
04-04 1344
【RocketMQ】基本命令
linux系列之常用运维命令整理笔录(小结)
09-14
这篇博客主要总结了几个常用的Linux运维命令，包括系统监控、文件操作等。这些命令对于日常的服务器管理和故障排查至关重要。 1. **系统监控** - **free** 命令：用于查看系统的内存使用情况，包括物理内存和交换...
Rocketmq事务设计、运维、安装、打包配置、测试.docx
12-26
在文档中，我们主要关注 RocketMQ 的事务设计、运维、安装、打包配置以及测试方面的知识。 1. **事务设计**： RocketMQ 支持事务消息，这是其一大特色。当`rejectTransactionMessage`设置为`false`时，RocketMQ ...
RocketMQ运维常用命令.pdf
09-06
RocketMQ运维常用命令
Linux运维命令实战
02-17
自己整理的一个Linux命令资料。包括常用的Linux命令，以及一些实例说明等信息
微服务测试开发-项目中用到了rocketmq该怎么测试
阿星君
06-29 1567
1、什么是MQ mq是消息中间件，最简单的理解就是A服务发送一条消息给B服务，B服务收到消息后做一系列的动作 这个能解决什么问题呢 削峰，服务之间如果通过接口调用的话，无论是http还是rpc，但是属于同步的动作，意味着会存在大量的数据同一时刻到被调用服务，而使用mq完美解决该问题 解耦，服务之间数据交互不再通过mysql，redis等，实现服务之间的解耦 2、什么情况会用到mq呢？ 服务之间有数据交互时，但不要求时效性 比如： 电商场景中，订单系统生成订单后会通知仓库生成出库单，会通..
快速学习-RocketMQ运维管理
逍遥云恋
09-20 512
运维管理 1 集群搭建 1.1 单Master模式 这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。 1）启动 NameServer ### 首先启动Name Server $ nohup sh mqnamesrv & ### 验证Name Server 是否启动成功 $ tail -f ~/logs/rocketmqlogs/namesrv.log The Name Server boot success... 2）启动 B
RocketMQ(一)——运维管理operation(转)
学会改变自己——才能突破
03-14 2483
最近看了看RocketMQ的官方文档，感觉不错，一直在用，每看一次，深刻一次。接下几篇主要是整理转载一下！ 官方地址：http://rocketmq.apache.org/docs/motivation/ github地址：https://github.com/apache/rocketmq 运维管理(operation） 1 集群搭建 1.1 单Master模式 这种方式风险较大，一旦Br...
RocketMQ（一）—— 基本使用
weixin_56697114的博客
12-01 1854
1、RocketMQ基本使用 1、启动 1.启动NameServer # 1.启动NameServer nohup sh bin/mqnamesrv & # 2.查看启动日志 tail -f ~/logs/rocketmqlogs/namesrv.log 2.启动Broker # 1.启动Broker nohup sh bin/mqbroker -n localhost:9876 & # 2.查看启动日志 tail -f ~/logs/rocketmqlogs/broker
rocketmq配置及测试
eleven的博客
11-30 8177
上班一年多了，公司采用分布式架构，其中有用到了mq消息队列。对这个mq不是很理解，也不懂得怎么使用，但是又想去学习怎么使用，毕竟想学习是好事。于是带着这个疑问，就想自己搭建一套mq服务。      首先要去下载rocketmq的安装包，其次还需要有jdk环境，git环境，maven环境等配置，文章末尾有附上安装包下载地址，大家可以自行下载。      接下来就是启动服务了：     ...
RocketMQ安装和小试
任何技能都是从模仿开始，逐步升华。
11-09 3万+
由于RocketMQ是java实现，在安装前须有java环境，并且有maven环境。项目地址：https://github.com/alibaba/RocketMQ/
RocketMQ的Producer源码分析
foolishboy_w的博客
07-24 163
rocket mq producer的启动和消息发送流程
RocketMQ中文文档（译）
热门推荐
IT农场
01-30 6万+
前言：近日需要研究一下RocketMQ，为了方便日后查找，因此对官方英文文档进行翻译记载，也希望能帮助到要学习的朋友。阅读后发现，文档还是比较粗略的，大概也只能了解些概念和简单实用。快速入门部分比较简单，因此暂时没翻译只翻译其中重要的几个部分，快速入门日后会补上。目前rocket的版本是4.2.0 官方参考文档的地址是：http://rocketmq.apache.org/docs/rmq-arc...
RocketMQ 运维指令
Ryan Z 的技术日志
02-02 5897
转自 http://www.cnblogs.com/zno2/p/4555189.html RocketMQ 运维指令 1.1. 控制台使用 RocketMQ 提供有控制台及一系列控制台命令，用于管理员对主题，集群，broker 等信息的管理 登录控制台 首先进入RocketMQ 工程，进入/RocketMQ/bin 在该目录下有个mqadmin 脚本 查看帮助
linux常用运维命令
04-06
Linux常用运维命令是指在Linux操作系统中，经常被运维人员使用的命令，例如查看系统进程、修改文件权限、压缩文件等。这些命令是Linux系统管理员必须要掌握并熟练使用的。一些常见的Linux运维命令包括：ls、cd、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值