RocketMQ第四篇 Rocket集群配置

在实际开发中一般都会使用docker安装rocketMQ,docker安装rocketmq如下:

docker安装配置rocketmq

docker安装rocketmq

docker pull foxiswho/rocketmq:server-4.3.2
docker pull foxiswho/rocketmq:broker-4.3.2

创建容器 docker create -p 9876:9876 --name rmqserver \
-e JAVA_OPT_EXT = -server -Xms128m -Xmx128m -Xmn128m \
-e JAVA_OPTS = -Duser.home = /opt \
-v /usr/local/rmq/rmqserver/logs:/opt/logs \
-v /usr/local/rmq/rmqserver/store:/opt/store \
foxiswho/rocketmq:server-4.3.2



创建broker容器
docker create -p 10911:10911 -p 10909:10909 --name rmqbroker \
-e JAVA_OPTS=-Duser.home = /opt \
-e JAVA_OPT_EXT=-server -Xms128m -Xmx128m -Xmn128m \
-v /usr/local/rmq/rmqbroker/conf/broker.conf:/etc/rocketmq/broker.conf \
-v /usr/local/rmq/rmqbroker/store:/opt/store \
foxiswho/rocketmq:broker-4.3.2

拉取镜像
docker pull styletang/rocketmq-console-ng:1.0.0
创建启动容器
docker run -e JAVA_OPTS = -Drocketmq.namesrv.addr = 172.17.0.3:9876 
-Dcom.rocketmq.sendMessageWithVIPChannel=false -p 8082:8080 -t styletang/rocketmq-console-ng:1.0.0

rocketMq集群搭建

rocketMQ集群有以下几种集群:

  1. 2m-2s-async: 2主2从异步刷盘(吞吐量较大,但是消息可能丢失),
  2. 2m-2s-sync:2主2从同步刷盘(吞吐量会下降,但是消息更安全),
  3. 2m-noslave:2主无从(单点故障),然后还可以直接配置 broker.conf,进行单点环境配置。
  4. Dleger高可用集群用来实现主从切换的。

集群中的节点会基于Raft协议随机选举出一个leader,其他的就都是follower。通常正式环境都会采用这种方式来搭建集群。

集群架构

双主双从异步架构

这种模式的优缺点如下:

  • 优点:即使磁盘损坏,消息丢失的非常少,且消息实时性不会受影响,同时Master宕机后,消费者仍然可以从Slave消费,而且此过程对应用透明,不需要人工干预,性能同多Master模式几乎一样;
  • 缺点:Master宕机,磁盘损坏情况下会丢失少量消息。

准备两台主机

192.168.36.131 tomcat01
192.168.36.132 tomcat02

我们为了便于观察,这次搭建一个2主2从异步刷盘的集群,所以我们会使用conf/2m-2s-async下的配置文件,实际项目中,为了达到高可用,一般会使用dleger。预备设计的集群情况如下: 

在conf/2m-2s-async

配置broker-b.properties

brokerIP1 = 192.168.36.131
#所属集群名字,名字一样的节点就在同一个集群内
brokerClusterName = rocketmq-cluster
#broker名字,名字一样的节点就是一组主从节点。
brokerName = broker-b
#brokerid,0就表示是Master,>0的都是表示 Slave
brokerId = 0
#nameServer地址,分号分割
namesrvAddr = 192.168.36.132:9876;192.168.36.131:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums = 4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable = true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup = true
#Broker 对外服务的监听端口
listenPort = 10911
#删除文件时间I,默认凌晨 4点
deleteWhen = 04
#文件保留时间,默认 48 小时
fileReservedTime = 120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog = 1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue = 300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval = 120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio = 88
#存储路径
storePathRootDir = /home/lulu/rocketmq-all-4.7.1-bin-release/store
#commitLog 存储路径
storePathCommitLog = /home/lulu/rocketmq-all-4.7.1-bin-release/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue = /home/lulu/rocketmq-all-4.7.1-bin-release/store/consumequeue
#消息索引存储路径
storePathIndex = /home/lulu/rocketmq-all-4.7.1-bin-release/store/index
#checkpoint 文件存储路径
storeCheckpoint = /home/lulu/rocketmq-all-4.7.1-bin-release/store/checkpoint
#abort 文件存储路径
abortFile = /home/lulu/rocketmq-all-4.7.1-bin-release/store/abort
#限制的消息大小
maxMessageSize = 65536
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole = ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType = ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
sendMessageThreadPoolNums = 128
#拉消息线程池数量
pullMessageThreadPoolNums = 128
#enablePropertyFilter=true
#aclEnable=true
                                           

配置broker-a-s.properties从节点

brokerIP1 = 192.168.36.131
#所属集群名字,名字一样的节点就在同一个集群内
brokerClusterName=rocketmq-cluster
#broker名字,名字一样的节点就是一组主从节点。
brokerName=broker-a
#brokerid,0就表示是Master,>0的都是表示 Slave
brokerId=1
#nameServer地址,分号分割
namesrvAddr=192.168.36.132:9876;192.168.36.131:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/lulu/rocketmq-all-4.7.1-bin-release/storeSlave
#commitLog 存储路径
storePathCommitLog=/home/lulu/rocketmq-all-4.7.1-bin-release/storeSlave/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/home/lulu/rocketmq-all-4.7.1-bin-release/storeSlave/consumequeue
#消息索引存储路径
storePathIndex=/home/lulu/rocketmq-all-4.7.1-bin-release/storeSlave/index
#checkpoint 文件存储路径
storeCheckpoint=/home/lulu/rocketmq-all-4.7.1-bin-release/storeSlave/checkpoint
#abort 文件存储路径
abortFile=/home/lulu/rocketmq-all-4.7.1-bin-release/storeSlave/abort
#限制的消息大小
maxMessageSize=65536
flushCommitLogLeastPages=4
flushConsumeQueueLeastPages=2
flushCommitLogThoroughInterval=10000
flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
sendMessageThreadPoolNums=128
#拉消息线程池数量
pullMessageThreadPoolNums=128
#enablePropertyFilter=true
#打开acl权限
#aclEnable=true

同样的另外一个主机一样的配置,不过ip不一样

这样broker就配置完成了。需要注意的配置项:
1、同一机器上两个实例的store目录不能相同,否则会报错 Lock failed,MQ already started
2、同一机器上两个实例的listenPort也不能相同。否则会报端口占用的错nameserver不需要进行配置,直接启动就行。这也看出nameserver是无状态的。
3、其他的配置项参见 RocketMq全部配置

启动双主双从异步:

nohup bin/mqbroker -c conf/2m-2s-async/broker-a.properties &
nohup bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties &
nohup bin/mqbroker -c  conf/2m-2s-async/broker-b.properties &
nohup bin/mqbroker -c  conf/2m-2s-async/broker-a-s.properties &

启动slave时,如果遇到报错 Lock failed,MQ already started ,那是因为有多个实例共用了同一个storePath造成的,这时就需要调整store的路径。

使用jps指令,能看到一个NameSrvStartup进程和两个BrokerStartup进程。

nohup.out中也有启动成功的日志。对应的日志文件:

# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log

双主双从同步配置

这种模式的优缺点如下:

  • 优点:数据与服务都无单点故障,Master宕机情况下,消息无延迟,服务可用性与数据可用性都非常高;
  • 缺点:性能比异步复制模式略低(大约低10%左右),发送单个消息的RT会略高,且目前版本在主节点宕机后,备机不能自动切换为主机。·

只需要修改

brokerRole=SYNC_MASTE 其他不用改动

多主无从节点配置

这种模式的优缺点如下:

  • 优点:配置简单,单个Master宕机或重启维护对应用无影响,在磁盘配置为RAID10时,即使机器宕机不可恢复情况下,由于RAID10磁盘非常可靠,消息也不会丢(异步刷盘丢失少量消息,同步刷盘一条不丢),性能最高;
  • 缺点:单台机器宕机期间,这台机器上未被消费的消息在机器恢复之前不可订阅,消息实时性会受到影响。

Dledger 模式

使用 Dledger 技术要求至少由三个 Broker 组成 ,一个 Master 和两个 Slave,这样三个 Broker 就可以组成一个 Group ,也就是三个 Broker 可以分组来运行。一但 Master 宕机,Dledger 就可以从剩下的两个 Broker 中选举一个 Master 继续对外提供服务。 这也是上面集群方式无法实现从slave转换为Master.

整体架构:高可用、高并发、可伸缩 、海量消息

Dledger是RocketMQ自4.5版本引入的实现高可用集群的一项技术。这个模式下的集群会随机选出一个节点作为master,而当master节点挂了后,会从slave中自动选出一个节点升级成为master。

Dledger技术做的事情:1、接管Broker的CommitLog消息存储 2、从集群中选举出master节点 3、完成master节点往slave节点的消息同步。

Dledger的关键部分是在他的节点选举上。Dledger是使用Raft算法来进行节点选举的。这里简单介绍下Raft算法的选举过程:

  1. 首先:每个节点有三个状态,Leader,follower和candidate(候选人)。正常运行的情况下,集群中会有一个leader,其他都是follower,follower只响应Leader和Candidate的请求,而客户端的请求全部由Leader处理,即使有客户端请求到了一个follower,也会将请求转发到leader。​
  2. 集群刚启动时,每个节点都是follower状态,之后集群内部会发送一个timeout信号,所有follower就转成candidate去拉取选票,获得大多数选票的节点选为leader,其他候选人转为follower。如果一个timeout信号发出时,没有选出leader,将会重新开始一次新的选举。而Leader节点会往其他节点发送心跳信号,确认他的leader状态。-- 然后会启动定时器,如果在指定时间内没有收到Leader的心跳,就会转为Candidate状态,然后向其他成员发起投票请求,
  3. 如果收到半数以上成员的投票,则Candidate会晋升为Leader。然后leader也有可能会退化成follower。​ 然后,在Raft协议中,会将时间分为一些任意时间长度的时间片段,叫做term。term会使用一个全局唯一,连续递增的编号作为标识,也就是起到了一个逻辑时钟的作用。​ 在每一个term时间片里,都会进行新的选举,每一个Candidate都会努力争取成为leader。获得票数最多的节点就会被选举为Leader。被选为Leader的这个节点,在一个term时间片里就会保持leader状态。这样,就会保证在同一时间段内,集群中只会有一个Leader。在某些情况下,选票可能会被各个节点瓜分,形成不了多数派,那这个term可能直到结束都没有leader,直到下一个term再重新发起选举,这也就没有了Zookeeper中的脑裂问题。而在每次重新选举的过程中, leader也有可能会退化成为follower。也就是说,在这个集群中, leader节点是会不断变化的。​ 然后,每次选举的过程中,每个节点都会存储当前term编号,并在节点之间进行交流时,都会带上自己的term编号。如果一个节点发现他的编号比另外一个小,那么他就会将自己的编号更新为较大的那一个。而如果leader或者candidate发现自己的编号不是最新的,他就会自动转成follower。如果接收到的请求term编号小于自己的编号,term将会拒绝执行。
  4. 在选举过程中,Raft协议会通过心跳机制发起leader选举。节点都是从follower状态开始的,如果收到了来自leader或者candidate的心跳RPC请求,那他就会保持follower状态,避免争抢成为candidate。而leader会往其他节点发送心跳信号,来确认自己的地位。如果follower一段时间(两个timeout信号)内没有收到Leader的心跳信号,他就会认为leader挂了,发起新一轮选举。​ 选举开始后,每个follower会增加自己当前的term,并将自己转为candidate。然后向其他节点发起投票请求,请求时会带上自己的编号和term,也就是说都会默认投自己一票。之后candidate状态可能会发生以下三种变化:赢得选举,成为leader: 如果它在一个term内收到了大多数的选票,将会在接下的剩余term时间内称为leader,然后就可以通过发送心跳确立自己的地位。(每一个server在一个term内只能投一张选票,并且按照先到先得的原则投出)其他节点成为leader: 在等待投票时,可能会收到其他server发出心跳信号,说明其他leader已经产生了。这时通过比较自己的term编号和RPC过来的term编号,如果比对方大,说明leader的term过期了,就会拒绝该RPC,并继续保持候选人身份; 如果对方编号不比自己小,则承认对方的地位,转为follower。选票被瓜分,选举失败: 如果没有candidate获取大多数选票, 则没有leader产生, candidate们等待超时后发起另一轮选举. 为了防止下一次选票还被瓜分,必须采取一些额外的措施, raft采用随机election timeout(随机休眠时间)的机制防止选票被持续瓜分。通过将timeout随机设为一段区间上的某个值, 因此很大概率会有某个candidate率先超时然后赢得大部分选票。
  5. 所以以三个节点的集群为例,选举过程会是这样的:集群启动时,三个节点都是follower,发起投票后,三个节点都会给自己投票。这样一轮投票下来,三个节点的term都是1,是一样的,这样是选举不出Leader的。当一轮投票选举不出Leader后,三个节点会进入随机休眠,例如A休眠1秒,B休眠3秒,C休眠2秒。一秒后,A节点醒来,会把自己的term加一票,投为2。然后2秒时,C节点醒来,发现A的term已经是2,比自己的1大,就会承认A是Leader,把自己的term也更新为2。实际上这个时候,A已经获得了集群中的多数票,2票,A就会被选举成Leader。这样,一般经过很短的几轮选举,就会选举出一个Leader来。到3秒时,B节点会醒来,他也同样会承认A的term最大,他是Leader,自己的term也会更新为2。这样集群中的所有Candidate就都确定成了leader和follower.然后在一个任期内,A会不断发心跳给另外两个节点。当A挂了后,另外的节点没有收到A的心跳,就会都转化成Candidate状态,重新发起选举。

Dledger还会采用Raft协议进行多副本的消息同步:

       简单来说,数据同步会通过两个阶段,一个是uncommitted阶段,一个是commited阶段。Leader Broker上的Dledger收到一条数据后,会标记为uncommitted状态,然后他通过自己的DledgerServer组件把这个uncommitted数据发给Follower Broker的DledgerServer组件。​ 接着Follower Broker的DledgerServer收到uncommitted消息之后,必须返回一个ack给Leader Broker的Dledger。然后如果Leader Broker收到超过半数的Follower Broker返回的ack之后,就会把消息标记为committed状态。​ 再接下来, Leader Broker上的DledgerServer就会发送committed消息给Follower Broker上的DledgerServer,让他们把消息也标记为committed状态。这样,就基于Raft协议完成了两阶段的数据同步。

集群配置如下:

修改broker-n0.conf文件

brokerClusterName = RaftCluster
brokerName=RaftNode00
listenPort=30911
namesrvAddr=192.168.36.131:9876;192.168.36.132:9876
#主题不存在时是否自动创建主题
autoCreateTopicEnable=false
###订阅组不存在时是否自动创建订阅组
autoCreateSubscriptionGroup=false
storePathRootDir=/tmp/rmqstore/node00
storePathCommitLog=/tmp/rmqstore/node00/commitlog
#是否启动 DLedger
enableDLegerCommitLog=true
#DLedger Raft Group的名字,建议和 brokerName 保持一致
dLegerGroup=RaftNode00
#DLedger Group 内各节点的端口信息,同一个 Group 内的各个节点配置必须要保证一致
dLegerPeers=n0-127.0.0.1:40911;n1-127.0.0.1:40912;n2-127.0.0.1:40913
#节点 id, 必须属于 dLegerPeers 中的一个;同 Group 内各个节点要唯一
dLegerSelfId=n0
#发送线程个数,建议配置成 Cpu 核数
sendMessageThreadPoolNums=16

broker-n1.conf文件

brokerClusterName = RaftCluster
brokerName=RaftNode00
listenPort=30921
namesrvAddr=192.168.36.131:9876;192.168.36.132:9876
#主题不存在时是否自动创建主题
autoCreateTopicEnable=false
#订阅组不存在时是否自动创建订阅组
autoCreateSubscriptionGroup=false
storePathRootDir=/tmp/rmqstore/node01
storePathCommitLog=/tmp/rmqstore/node01/commitlog
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-127.0.0.1:40911;n1-127.0.0.1:40912;n2-127.0.0.1:40913
## must be unique
dLegerSelfId=n1
sendMessageThreadPoolNums=16

broker-n2.conf文件 

brokerClusterName = RaftCluster
brokerName=RaftNode00
listenPort=30931
namesrvAddr=192.168.36.131:9876;192.168.36.132:9876
#主题不存在时是否自动创建主题
autoCreateTopicEnable=false
#订阅组不存在时是否自动创建订阅组
autoCreateSubscriptionGroup=false
storePathRootDir=/tmp/rmqstore/node02
storePathCommitLog=/tmp/rmqstore/node02/commitlog
enableDLegerCommitLog=true
dLegerGroup=RaftNode00
dLegerPeers=n0-127.0.0.1:40911;n1-127.0.0.1:40912;n2-127.0.0.1:40913
## must be unique
dLegerSelfId=n2
sendMessageThreadPoolNums=16

分别在两个服务上配置,启动过程如下:

先启动mqnamesrv

nohup bin/mqnamesrv & 

启动broker

nohup  bin/mqbroker -c  conf/dledger/broker-n0.conf &
nohup  bin/mqbroker -c  conf/dledger/broker-n1.conf &
nohup  bin/mqbroker -c  conf/dledger/broker-n2.conf &

搭建管理控制台

RocketMQ源代码中并没有提供控制台,但是有一个Rocket的社区扩展项目中提供了一个控制台,地址: https://github.com/apache/rocketmq-externals下载下来后,进入其中的rocket-console目录,使用maven进行编译

mvn clean package -Dmaven.test.skip=true

编译完成后,获取target下的jar包,就可以直接执行。但是这个时候要注意,在这个项目的application.properties中需要指定nameserver的地址。默认这个属性是空的。

那我们可以在jar包的当前目录下增加一个application.properties文件,覆盖jar包中默认的一个属性:

rocketmq.config.namesrvAddr=tomcat02:9876;tomcat01:9876

当然也可以在项目的 resource的配置文件下application.properties修改

执行命令启动

nohup java -jar rocketmq-console-ng-1.0.1.jar > lout.log  2>1 &

mqadmin管理工具

mqadmin命令格式如下:./mqadmin {command} {args}

如:

# 查看集群监控状态 sh mqadmin clusterlist ‐n 192.168.241.198:9876

所有指令如下:

  • Topic相关:

名称

含义

命令选项

说明

updateTopic

创建更新Topic配置

-b

Broker 地址,表示 topic 所在 Broker,只支持单台Broker,地址为ip:port

-c

cluster 名称,表示 topic 所在集群(集群可通过 clusterList 查询)

-h-

打印帮助

-n

NameServer服务地址,格式 ip:port

-p

指定新topic的读写权限( W=2|R=4|WR=6 )

-r

可读队列数(默认为 8)

-w

可写队列数(默认为 8)

-t

topic 名称(名称只能使用字符 ^[a-zA-Z0-9_-]+$ )

deleteTopic

删除Topic

-c

cluster 名称,表示删除某集群下的某个 topic (集群 可通过 clusterList 查询)

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-t

topic 名称(名称只能使用字符 ^[a-zA-Z0-9_-]+$ )

topicList

查看 Topic 列表信息

-h

打印帮助

-c

不配置-c只返回topic列表,增加-c返回clusterName, topic, consumerGroup信息,即topic的所属集群和订阅关系,没有参数

-n

NameServer 服务地址,格式 ip:port

topicRoute

查看 Topic 路由信息

-t

topic 名称

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

topicStatus

查看 Topic 消息队列offset

-t

topic 名称

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

topicClusterList

查看 Topic 所在集群列表

-t

topic 名称

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

updateTopicPerm

更新 Topic 读写权限

-t

topic 名称

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-b

Broker 地址,表示 topic 所在 Broker,只支持单台Broker,地址为ip:port

-p

指定新 topic 的读写权限( W=2|R=4|WR=6 )

-c

cluster 名称,表示 topic 所在集群(集群可通过 clusterList 查询),-b优先,如果没有-b,则对集群中所有Broker执行命令

updateOrderConf

从NameServer上创建、删除、获取特定命名空间的kv配置,目前还未启用

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-t

topic,键

-v

orderConf,值

-m

method,可选get、put、delete

allocateMQ

以平均负载算法计算消费者列表负载消息队列的负载结果

-t

topic 名称

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-i

ipList,用逗号分隔,计算这些ip去负载Topic的消息队列

statsAll

打印Topic订阅关系、TPS、积累量、24h读写总量等信息

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-a

是否只打印活跃topic

-t

指定topic

  • 集群相关

名称

含义

命令选项

说明

clusterList

查看集群信息,集群、BrokerName、BrokerId、TPS等信息

-m

打印更多信息 (增加打印出如下信息 #InTotalYest, #OutTotalYest, #InTotalToday ,#OutTotalToday)

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-i

打印间隔,单位秒

clusterRT

发送消息检测集群各Broker RT。消息发往${BrokerName} Topic。

-a

amount,每次探测的总数,RT = 总时间 / amount

-s

消息大小,单位B

-c

探测哪个集群

-p

是否打印格式化日志,以|分割,默认不打印

-h

打印帮助

-m

所属机房,打印使用

-i

发送间隔,单位秒

-n

NameServer 服务地址,格式 ip:port

  • Broker相关

名称

含义

命令选项

说明

updateBrokerConfig

更新 Broker 配置文件,会修改Broker.conf

-b

Broker 地址,格式为ip:port

-c

cluster 名称

-k

key 值

-v

value 值

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

brokerStatus

查看 Broker 统计信息、运行状态(你想要的信息几乎都在里面)

-b

Broker 地址,地址为ip:port

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

brokerConsumeStats

Broker中各个消费者的消费情况,按Message Queue维度返回Consume Offset,Broker Offset,Diff,TImestamp等信息

-b

Broker 地址,地址为ip:port

-t

请求超时时间

-l

diff阈值,超过阈值才打印

-o

是否为顺序topic,一般为false

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

getBrokerConfig

获取Broker配置

-b

Broker 地址,地址为ip:port

-n

NameServer 服务地址,格式 ip:port

wipeWritePerm

从NameServer上清除 Broker写权限

-b

Broker 地址,地址为ip:port

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

cleanExpiredCQ

清理Broker上过期的Consume Queue,如果手动减少对列数可能产生过期队列

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

-b

Broker 地址,地址为ip:port

-c

集群名称

cleanUnusedTopic

清理Broker上不使用的Topic,从内存中释放Topic的Consume Queue,如果手动删除Topic会产生不使用的Topic

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

-b

Broker 地址,地址为ip:port

-c

集群名称

sendMsgStatus

向Broker发消息,返回发送状态和RT

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

-b

BrokerName,注意不同于Broker地址

-s

消息大小,单位B

-c

发送次数

  • 消息相关

名称

含义

命令选项

说明

queryMsgById

根据offsetMsgId查询msg,如果使用开源控制台,应使用offsetMsgId,此命令还有其他参数,具体作用请阅读QueryMsgByIdSubCommand。

-i

msgId

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

queryMsgByKey

根据消息 Key 查询消息

-k

msgKey

-t

Topic 名称

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

queryMsgByOffset

根据 Offset 查询消息

-b

Broker 名称,(这里需要注意 填写的是 Broker 的名称,不是 Broker 的地址,Broker 名称可以在 clusterList 查到)

-i

query 队列 id

-o

offset 值

-t

topic 名称

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

queryMsgByUniqueKey

根据msgId查询,msgId不同于offsetMsgId,区别详见常见运维问题。-g,-d配合使用,查到消息后尝试让特定的消费者消费消息并返回消费结果

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-i

uniqe msg id

-g

consumerGroup

-d

clientId

-t

topic名称

checkMsgSendRT

检测向topic发消息的RT,功能类似clusterRT

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-t

topic名称

-a

探测次数

-s

消息大小

sendMessage

发送一条消息,可以根据配置发往特定Message Queue,或普通发送。

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-t

topic名称

-p

body,消息体

-k

keys

-c

tags

-b

BrokerName

-i

queueId

consumeMessage

消费消息。可以根据offset、开始&结束时间戳、消息队列消费消息,配置不同执行不同消费逻辑,详见ConsumeMessageCommand。

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-t

topic名称

-b

BrokerName

-o

从offset开始消费

-i

queueId

-g

消费者分组

-s

开始时间戳,格式详见-h

-d

结束时间戳

-c

消费多少条消息

printMsg

从Broker消费消息并打印,可选时间段

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-t

topic名称

-c

字符集,例如UTF-8

-s

subExpress,过滤表达式

-b

开始时间戳,格式参见-h

-e

结束时间戳

-d

是否打印消息体

printMsgByQueue

类似printMsg,但指定Message Queue

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-t

topic名称

-i

queueId

-a

BrokerName

-c

字符集,例如UTF-8

-s

subExpress,过滤表达式

-b

开始时间戳,格式参见-h

-e

结束时间戳

-p

是否打印消息

-d

是否打印消息体

-f

是否统计tag数量并打印

resetOffsetByTime

按时间戳重置offset,Broker和consumer都会重置

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-g

消费者分组

-t

topic名称

-s

重置为此时间戳对应的offset

-f

是否强制重置,如果false,只支持回溯offset,如果true,不管时间戳对应offset与consumeOffset关系

-c

是否重置c++客户端offset

  • 消费者和消费者组相关

名称

含义

命令选项

说明

consumerProgress

查看订阅组消费状态,可以查看具体的client IP的消息积累量

-g

消费者所属组名

-s

是否打印client IP

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

consumerStatus

查看消费者状态,包括同一个分组中是否都是相同的订阅,分析Process Queue是否堆积,返回消费者jstack结果,内容较多,使用者参见ConsumerStatusSubCommand

-h

打印帮助

-n

NameServer 服务地址,格式 ip:port

-g

consumer group

-i

clientId

-s

是否执行jstack

getConsumerStatus

获取 Consumer 消费进度

-g

消费者所属组名

-t

查询主题

-i

Consumer 客户端 ip

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

updateSubGroup

更新或创建订阅关系

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

-b

Broker地址

-c

集群名称

-g

消费者分组名称

-s

分组是否允许消费

-m

是否从最小offset开始消费

-d

是否是广播模式

-q

重试队列数量

-r

最大重试次数

-i

当slaveReadEnable开启时有效,且还未达到从slave消费时建议从哪个BrokerId消费,可以配置备机id,主动从备机消费

-w

如果Broker建议从slave消费,配置决定从哪个slave消费,配置BrokerId,例如1

-a

当消费者数量变化时是否通知其他消费者负载均衡

deleteSubGroup

从Broker删除订阅关系

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

-b

Broker地址

-c

集群名称

-g

消费者分组名称

cloneGroupOffset

在目标群组中使用源群组的offset

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

-s

源消费者组

-d

目标消费者组

-t

topic名称

-o

暂未使用

  • 连接相关

名称

含义

命令选项

说明

consumerConnec tion

查询 Consumer 的网络连接

-g

消费者所属组名

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

producerConnec tion

查询 Producer 的网络连接

-g

生产者所属组名

-t

主题名称

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

  • NameServer相关

名称

含义

命令选项

说明

updateKvConfig

更新NameServer的kv配置,目前还未使用

-s

命名空间

-k

key

-v

value

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

deleteKvConfig

删除NameServer的kv配置

-s

命名空间

-k

key

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

getNamesrvConfig

获取NameServer配置

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

updateNamesrvConfig

修改NameServer配置

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

-k

key

-v

value

其他

名称

含义

命令选项

说明

startMonitoring

开启监控进程,监控消息误删、重试队列消息数等

-n

NameServer 服务地址,格式 ip:port

-h

打印帮助

注意:

1、几乎所有指令都需要通过-n参数配置nameServer地址,格式为ip:port

2、几乎所有执行都可以通过-h参数获得帮助

3、当既有Broker地址(-b)又有集群名称clustername(-c)配合项,则优先以Broker地址执行指令。如果不配置Broker地址,则对集群中所有主机执行指令。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员路同学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值