rocketMQ消息堆积监控的java实现一

最新推荐文章于 2024-05-13 16:51:54 发布
置顶 最新推荐文章于 2024-05-13 16:51:54 发布
阅读量3.8k 收藏 2
点赞数
分类专栏： 问题处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiucheng_198806/article/details/81629775
版权
本文介绍了如何使用Java实现RocketMQ消息堆积的监控。主要关注两点：一是Broker中消息写入量与消费位移的偏差，二是Consumer端已拉取但未消费的消息堆积。通过DefaultMQAdminExt获取消费统计信息，并遍历MessageQueue计算堆积量，当出现异常时，返回堆积量为0。
摘要由CSDN通过智能技术生成

     最近遇到rocketMq的消息堆积的问题，一边学习一边处理，rocketMq的消息堆积发现应该分为两层，一层是broker中实际写入消息量和consumeQueue已经消费位移的偏差，另外一层consumer端本身已经拉取消息的堆积。

     对于第一层的堆积监控处理如下：

    /**
     * 监听rocketMq中的消息数量
     * @return
     */

  1.     public long getDiffTotal () {
  2.         DefaultMQAdminExt defaultMQAdminExt =  ApplicationContext.getInstance().getDefaultMQAdminExt();
  3.         long diffTotal = 0L;
  4.         try {
  5.             // 当消费端未消费时，此方法会报错
  6. ConsumeStats consumeStats = defaultMQAdminExt.examineConsumeStats("QueryTask_ConsumerGroup_hmzx_hmzx_xgq_test");
  7.             List<MessageQueue> mqList = new LinkedList();
最低0.47元/天 解锁文章
毛公鼎
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ（十）——Consumer消费进度（Offset）的管理
稷下学员的笔记博客
12-31 4362
文章目录Consumer消费进度（Offset）的管理Offset本地管理模式Offset远程管理模式offset用途重试队列offset的同步提交与异步提交 Consumer消费进度（Offset）的管理 消费进度offset是用来记录每个Queue的不同消费者组的消费进度的。根据消费进度记录器的不用，可以分为两种模式：本地模式和远程模式 Offset本地管理模式 当消费模式为 广播消费时，offset使用本地模式存储。因为每条消息会被素有的消费者消费。每个消费者管理自己的消费进度，各个消费者之间
初始RocketMQ
qq_45888932的博客
06-13 1313
RocketMQ基本概念
rocketmq本地监听消息
最新发布
大智的博客
05-13 187
/ 设置Consumer第一次启动是从哪个位置开始消费。// 创建消费者实例，并指定组名。// 指定Namesrv地址。// 订阅主题和标签。// 注册消息监听器。
11. topic的预创建
ZXH240651200的博客
11-29 551
预创建topic，是现在broker上创建好topic的相关信息，并注册到nameSrv上，producer生产消息时，直接重nameSrv中拉取topic的路由信息即可 预先创建topic，需要通过rocketmq的命令： ./mqadminupdateTopic 通过命令，我们直接定位到源码： UpdateTopicSubCommand public void execute(final CommandLine commandLine, final Options options.
全站最硬核 百万字强肝RocketMq源码 火热更新中~（三十五）
自救 唯有自强
01-23 388
从宏观上总结下吧，因为内部底层很多。 NamesrvController包含四部分：服务器远程连接、执行器、定时任务、文件监控 接下来回到起点：KVConfigManager。 抱歉，KVConfigManager也结束了。现在明白了，其实我们的起点KVConfigManager是一个小类，属于是对于全局配置的管理，还是我们之前说的，基于namespace做key的kv配置存储 private final HashMap<String/* Namespace */, HashMap<String
RocketMQ 5.0 POP 消费模式探秘
阿里巴巴云原生的博客
11-10 544
作者：凯易&耘田 审核校对：白玙 编辑&排版：雯燕 前言：随着 RocketMQ 5.0 preview 的发布，5.0 的重大特性逐步与大家见面。POP Consumer 作为 5.0 的一大特性，POP 消费模式展现了一种全新的消费模式。其具备的轻量级，无状态，无队列独占等特点，对于消息积压场景，Streaming 消费场景等都非常友好。在介绍 POP Consumer 之前，我们先回顾一下目前使用较多的 Push Consumer。 Push Consumer 熟悉 RocketMQ
在Spring Boot中集成RocketMQ后，通过初始化代码来自动创建主题和消费分组
闫小甲的专栏
07-26 1852
通过在Spring Boot中编写这样的初始化代码，你可以在应用启动时自动创建RocketMQ的主题和消费分组。这样可以确保在应用运行时，所需的主题和消费分组已经存在，从而避免手动创建的麻烦。然后，你可以编写一个初始化类，使用RocketMQ的Admin API来自动创建主题和消费分组。在Spring Boot中集成RocketMQ后，通过初始化代码来自动创建主题和消费分组。在上面的示例代码中，我们通过RocketMQ的Admin API来创建主题和消费分组。方法来创建主题，并指定队列数量和主题副本数。
rocketmq监控需要的安装包
09-27
7. **可视化监控数据**：最后，你可以使用Grafana这样的可视化工具集成Prometheus数据源，创建仪表板来展示RocketMQ的各种监控指标，如消息发送速率、堆积量、消费延迟等。 通过以上步骤，你将能够成功配置和部署...
RocketMQ 3.2.6 web监控程序
04-30
RocketMQ的Web监控程序是一个基于Web的界面，用于展示和管理RocketMQ集群的各项指标，包括但不限于消费进度、消息发送与接收情况、主题和队列的状态等。通过这个工具，运维人员可以实时了解RocketMQ集群的健康状况，...
rocketMQ监控系统
03-20
RocketMQ监控系统是针对阿里巴巴开源的消息中间件RocketMQ设计的一款可视化管理工具，名为rocketmq-console。这个项目在GitHub上活跃，允许用户方便地监控、管理和操作RocketMQ集群。然而，有时候在使用默认的maven...
RocketMQ：发送消息与接收实例
08-28
消息发送接收的代码示例将帮助你深入理解如何在 Java、Python、Go 等不同编程语言中集成 RocketMQ API，实现各种发送模式。例如，同步发送可以通过调用 `send` 方法并等待返回结果来实现，而异步发送则需要设置回调...
阿里 Rocketmq4.2 安装包下载
05-21
- **发布/订阅模型**：RocketMQ支持发布者将消息发送到主题，而多个订阅者可以订阅同一个主题，实现一对多的消息分发。 - **顺序消息**：在特定的Topic下，RocketMQ能够保证消息的严格顺序，这对于处理交易流水等...
RocketMQ源码：consumer 提交消费偏移量
2301_76607156的博客
04-13 1415
我们先看一幅图消费偏移量就是记录消费者的消费进度的。也是(当然，极端情况下还是可能会导致重复消费)。在分析rocketmq的消费者是如何利用这个offset完成消息消费的之前，我们先看下broker端是如何管理这些offset值的。 消费者消费后，会将offset发送到broker,这里会先写入到上面的消费者offset管理类的中，然后通过中。属性中。然后通过3将数据持久化到文件中 broker在初始化（）时，会启动定时任务，每隔5秒执行一次初始化，将的属性中的值持久化到文件中
java监听mq消息_Java ActiveMQ 讲解（二）Spring ActiveMQ整合+注解消息监听
weixin_31304817的博客
02-26 1241
对于ActiveMQ消息的发送，原声的api操作繁琐，而且如果不进行二次封装，打开关闭会话以及各种创建操作也是够够的了。那么，Spring提供了一个很方便的去收发消息的框架，spring jms。整合Spring后，代码不仅变得非常优雅，而且易用性和扩展性更好。废话不多说，直接开搞。1. maven依赖org.apache.xbeanxbean-spring3.16org.springframew...
深度解析RocketMQ Topic的创建机制
热门推荐
后端进阶
03-31 2万+
我还记得第一次使用rocketmq的时候，需要去控制台预先创建topic，我当时就想为什么要这么设计，于是我决定撸一波源码，带大家从根源上吃透rocketmq topic...
RocketMQ4.3.X笔记（8）：可靠性场景
Sam Blog
02-13 349
文章目录顺序消息全局顺序部分顺序消息重复问题消息优先级RocketMQ 特点间接的方式的优先级处理动态增减机器动态增减NameServer动态、增减Broker动态新增 Broker动态减少 Broker各种故障对消息的影响建议设置参考 顺序消息 顺序消息是指消息的消费顺序和产生顺序相同。顺序消息分为全局顺序消息和部分顺序消息，全局顺序消息指某个Topic下的所有消息都要保证顺序；部分顺序消息只要...
MQ-消息堆积问题
weixin_57128596的博客
06-20 1880
场景：当生产者发送消息的速度>消费者处理速度，那么就会导致消息堆积，当储存达到达上限就会引发死信问题，消息变为死信就会被丢弃到死信队列中，这样是很不友好的；(30条消息) MQ-消息延迟_Fairy要carry的博客-CSDN博客 解决：从消费者的角度1.增加更多消费者，增加消费速度（也就是WorkQueue模式，多个消费者绑定一个队列）(30条消息) SpringAMQP_Fairy要carry的博客-CSDN博客2.在消费者中开启线程池增加处理速度（但是消耗CPU资源，适合那种耗时较长的任务）从生产者角
踩坑记：rocketmq-console 消费TPS为0，但消息积压数却在降低是个什么“鬼”
中间件兴趣圈
12-02 8324
本节目录1、背景2、问题分析2.1 rocketmq-console 数据获获取逻辑探讨2.2 rocketmq 消费TPS统计实现原理2.2.1 消费TPS计算逻辑2.2.2 如何采集消费TPS原始数据3、问题解答 1、背景 上周六的19:00，接到项目反馈，他们的项目从昨天的23:00就停止消费了，而整个集群没有出现异常，故此种情况更多的是因为项目组的原因，由于业务已积压将近一天，并且项目在昨...
面试系列MQ：消息堆积如何处理
CancerKing的博客
11-24 3044
面试系列MQ：消息堆积如何处理
rocketmq 消费顺序消息 java实现负载均衡
05-13
在 RocketMQ 中，消费顺序消息时，可以使用两种方式来实现负载均衡： 1. 使用 MessageListenerOrderly 接口 RocketMQ 提供了 MessageListenerOrderly 接口，它可以让消费者按照消息的顺序依次消费。同时，它还提供了一个参数，可以让我们设置消息消费者的线程数。例如： ``` public class OrderlyMessageListener implements MessageListenerOrderly { private final AtomicInteger threadIndex = new AtomicInteger(0); @Override public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) { int index = threadIndex.getAndIncrement(); // TODO: 处理消息的业务逻辑 return ConsumeOrderlyStatus.SUCCESS; } } DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group"); consumer.setConsumeThreadMin(1); consumer.setConsumeThreadMax(10); consumer.registerMessageListener(new OrderlyMessageListener()); consumer.subscribe("topic", "*"); consumer.start(); ``` 在上面的代码中，我们通过 setConsumeThreadMin 和 setConsumeThreadMax 方法来设置消费者的线程数。当 RocketMQ 推送消息给消费者时，它会根据线程数来进行负载均衡，保证每个线程都有消息可以处理。 2. 使用 MessageListenerConcurrently 接口 除了 MessageListenerOrderly 接口外，RocketMQ 还提供了 MessageListenerConcurrently 接口，它允许多个线程并发消费消息。同样，它也提供了一个参数，可以让我们设置消息消费者的线程数。例如： ``` public class ConcurrentMessageListener implements MessageListenerConcurrently { private final AtomicInteger threadIndex = new AtomicInteger(0); @Override public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) { int index = threadIndex.getAndIncrement(); // TODO: 处理消息的业务逻辑 return ConsumeConcurrentlyStatus.CONSUME_SUCCESS; } } DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group"); consumer.setConsumeThreadMin(1); consumer.setConsumeThreadMax(10); consumer.registerMessageListener(new ConcurrentMessageListener()); consumer.subscribe("topic", "*"); consumer.start(); ``` 在上面的代码中，我们同样通过 setConsumeThreadMin 和 setConsumeThreadMax 方法来设置消费者的线程数。当 RocketMQ 推送消息给消费者时，它会根据线程数来进行负载均衡，保证每个线程都有消息可以处理。由于使用的是并发消费，所以需要注意消息处理的顺序可能不是严格按照消息顺序的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值