rocketmq消费端流量控制

最新推荐文章于 2024-06-05 22:18:06 发布
最新推荐文章于 2024-06-05 22:18:06 发布
阅读量6.5k 收藏 2
点赞数
分类专栏： rocketMQ

rocketmq定义里一个快照ProcessQueue，每个MessageQueue都有一个对应的ProcessQueue对象来保存自身的快照。
里面是一个TreeMap和一个读写锁，树以MessageQueue的offset为key,以消息内容的引用为value，保存来所有从MessageQueue获取的但是未被处理的消息.
读写锁控制多线程对树内对象的并发访问
两种情况会限流，限流的做法是放弃本次拉取消息的动作，并且这个队列的下一次拉取任务将在50毫秒后才加入到拉取任务队列。
1:当前的ProcessQueue正在处理的消息数量>1000，1000是字段pullThresholdForQueue
2:队列中最大最小偏移量差距>2000，这个是为了避免因为一条消息du se

George不挂科
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RocketMQ的消费模式和消息流控
qq_41723904的博客
02-12 2998
RocketMQ的消费模式和消费流控
RocketMQ 消费端限流机制
meser88的博客
02-29 380
默认为 1000 条，就触发限流，限流的具体做法就是暂停向 Broker 拉取该队列中的消息，但并不会阻止其他队列的消息拉取。中进行消息消费，消息消费完成后会将对应的消息从 ProcessQueue 中移除，然后向 Broker 端提交消费进度，提交的消费偏移量为 ProceeQueue 中的最小偏移量。这个就更加直接了，不仅从消息数量考虑，再结合从消息体大小考虑，处理队列中消息总大小超过 100M 进行限流，这个显而易见就是为了避免内存溢出。
记一次优化MQ消费速度（java锁优化）
最新发布
沈洋的博客
06-05 728
使用hashcode取余的方式是为了尽量使用不同的锁对象，提高效率。但是在运行中，key+field的组合最多有32个（线程池最大数量为32）的情况下，hashcode分布并不均匀，容易出现抢占锁的问题，也就是说这111把锁并不够用，所以我们将锁数量提升至313（选了一个较大的质数，选质数一般会更均匀）。而这里的锁，就是代码中synchronized (LOCK_NS[Math.abs((key + field).hashCode()) % AbstractUpdater.LOCK_NUM])的锁。
RocketMQ-消息消费
mxlmxlmxl33的专栏
02-12 709
        RocketMQ消费模式分为集群消费模式与广播消费模式，生产者产生某个topic的消息后，在集群模式下，topic下的消息可以被同一分组下的多个实例消费掉，一条消息至少被一台实例消费成功便可；广播模式是每条消息必须被分组下的每台实例成功消费，每个实例维护自己的消费进度。 一、集群消费模式         producer在生产消息时会根据负载均衡策略为消息指定队列编号（queu...
大揭秘！RocketMQ如何管理消费进度
博文视点（北京）官方博客
12-30 944
在企业实践RocketMQ时基本上80%都是不消费问题，而由于消费进度问题导致不消费的问题又是最难确认的和排查的。RocketMQ的消费进度分为本地消费进度管理和远程消费进度管理，分别对应的消费模式是广播消费和集群消费。 本文选自《RocketMQ分布式消息中间件：核心原理与最佳实践》一书，带你层层揭秘RocketMQ如何管理消费进度。 什么是消费进度 消费进度，也就是由Broker管理每一个消费者消费Topic的进度，包含正常提交消费进度和重置消费进度，如下： 上图表...
RocketMQ 消费端限流
.
08-15 6057
RocketMQ 消费端限流 RocketMQ 消费端限流 首先我们要明白为什么需要限流？如果不使用限流呢？ 通常情况下，当客户端生产的消息很多时，消费者消费消息速度低于生产者消费速度，我们该如何解决？ 可以增加消费者数量 可以优化消费者程序，提高消费响应速度，从而提高消费者处理能力。 设置消费最大线程数 拉取消息数量 这几种方法虽然能提提高消费速度，但是再特定场合下，生产者生产消息速度指数级上升，消费速度就会远远低于这个速度，就会出现大量的消息积压，导致消费能力下降，消息不停地推送，消费者消费能力有限
RocketMQ 限流参数
不要让任何事情成为你不去学习的理由。
01-17 826
1. pullBatchSize 在PushConsumer 模式中默认值是32，注意是每一次从队列拉取的最大数据，针对的是单个队列，所以必须考虑到RocketMQ一个 topic 会创建多个 queue 的特性。2. 根据经验，我们会认为pullBatchSize 调大点会更好，减少拉取次数处理效率更高，但是有时我们得根据实际情况来做取舍。
RocketMQ-消费进度管理
coder-zzzz的博客
08-12 342
Broadcasting模式 存放于${user.home}/.rocketmq_offsets/MQClientId/ConsumerGroup/offsets.json public class LocalFileOffsetStore public final static String LOCAL_OFFSET_STORE_DIR = System.getProperty( "rocketmq.client.localOffsetStoreDir", Syst
rocketmq消费负载均衡--push消费详解
08-25
RocketMQ 消费负载均衡 -- Push 消费详解 RocketMQ 是一款流行的开源消息队列产品，提供了高性能、可靠、可扩展的消息服务。在 RocketMQ 中，消费负载均衡是客户端处理的，主要通过 DefaultMQPushConsumerImpl 消费...
RocketMQ生产消费者模型实现
06-10
2. Pull模式：消费者主动从RocketMQ服务器拉取消息，可根据需要控制消费速度。 四、RocketMQ消费模型实现 1. 广播消费（Broadcasting）：每个消费者都会收到所有的消息，适用于所有消费者都需要处理相同消息的场景...
RocketMQ 5.2.0
02-29
- **Binary Distribution**: 包含RocketMQ服务器端和客户端的二进制文件，包括启动脚本、配置文件等。 - **Docs**: 官方文档，帮助用户理解和使用RocketMQ 5.2.0。 - **Examples**: 示例代码，展示了如何使用...
RocketMQ黑马笔记
06-08
RocketMQ的死信队列主要包括消费者端死信队列、生产者端死信队列等方式。这些方式对消息的可靠性和可用性有很大的影响。 二十五、RocketMQ的幂等性 RocketMQ的幂等性主要包括消费者端幂等、生产者端幂等等方式。...
rocketmq dashboard
06-27
使用rocketmq编译后的jar,无需自己打包直接可用，免费送给大家
rocketmq高可用之二开broker实现topic限流
念念不忘，必有回响
04-02 562
核心源码大致是如上,我们扩展了netty通信模块，同时修改了topic的元数据管理。
RocketMQ【消费幂等性（消费过程幂 、消费速度慢的处理方式、消费打印日志 ）、 RocketMQ集群服务（集群特点、单master模式 ）】(五)-全面详解（学习总结---从入门到深化）
04-22 697
RocketMQ【消费幂等性（消费过程幂 、消费速度慢的处理方式、消费打印日志 ）、 RocketMQ集群服务（集群特点、单master模式 ）】(五)-全面详解（学习总结---从入门到深化）
RocketMQ
GJOED的博客
11-09 654
1 RocketMQ架构 RocketMQ是阿里巴巴中间件团队自研的一款高性能、高吞吐量、低延迟、高可用、高可靠（具备金融级稳定性）的分布式消息中间件 开源后并于2016年捐赠给Apache社区孵化，目前已经成为了Apache顶级项目。当前在国内被广泛的使用，包括互联网、电商、金融、企业服务等领域，包括：字节跳动、滴滴、微众银行等知名的互联网公司。 1.1 RocketMQ的使用场景 1.2 RocketMQ 部署架构 1.3 RocketMQ特性 1.4 消费模式Push or P
rocketmq消峰之流量控制详解---实战 三
qq_29978863的博客
07-27 5124
rocketMq消费端消费分数以上三个步骤： 第一： 消费端从rocketMq服务端pull消息，到本地。 第二： 消费端消费pull到的消息。 第三： 消费消费结束后，回复Ack到rocketMq，偏移消费位置。 代码： /** * 测试mq 并发 接受 */ @Component @RocketMQMessageListener(topic = ConstantTopic.WRITING_LIKE_TOPIC,selectorExpression = Consta.
MQ基础详解
tumu6889的博客
06-27 2159
MQ 消息队列
RocketMq两种削峰方式
qq_37436172的博客
01-13 1857
并发流控：就是根据业务流控速率要求，来调整topic 消费队列数量(read queue),消费端部署节点，消费端拉去间隔时间，消费端消费线程数量等，来达到要求的速率内延时消费流控：就是在消费端延时消费消息(sleep),具体延时多少要根据业务要求速率，和消费端线程数量，和节点部署数量来控制。
rocketMQ消费端设置重试次数java
05-26
RocketMQ的消费端重试次数可以通过设置MessageListenerConcurrently或MessageListenerOrderly的consumeConcurrentlyMaxRetry和consumeOrderlyMaxRetry属性来实现。 例如，使用MessageListenerConcurrently： ```...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值