RocketMQ这样做，离物理极限性能还差多远？

最新推荐文章于 2023-10-12 11:39:00 发布
最新推荐文章于 2023-10-12 11:39:00 发布
阅读量437 收藏
点赞数
文章标签： java 后端 分布式 微服务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CCqwas/article/details/123744506
版权
本文深入探讨了RocketMQ在4.9.1版本中的性能优化，主要涉及三个方面：移除不必要的锁，降低锁的范围以及调整消息发送相关参数。通过使用自旋锁替换synchronized，去除多余的锁，以及优化锁的粒度，提升了并发处理能力。同时，修改了如sendMessageThreadPoolNums等参数，以适应不同场景的需求，展示了Java高并发编程的实践智慧。
摘要由CSDN通过智能技术生成

根据RocketMQ4.9.1的更新日志，我们从中提取到关于消息发送性能优化的【Issues:2883】,详细链接如下：具体优化点如截图所示：

首先先尝试对上述优化点做一个简单的介绍：

  • 对WaitNotifyObject的锁进行优化(item2)
  • 移除HAService中的锁(item3)
  • 移除GroupCommitService中的锁(item4)
  • 消除HA中不必要的数组拷贝(item5)
  • 调整消息发送几个参数的默认值(item7)
    • sendMessageThreadPoolNums
    • useReentrantLockWhenPutMessage
    • flushCommitLogTimed
    • endTransactionThreadPoolNums
  • 减少锁 的作用范围(item8-12)

通过阅读上述的变更，总结出优化手段主要包括如下三点：

  • 移除不必要的锁
  • 降低锁粒度(范围)
  • 修改消息发送相关参数

接下来结合源码，从中挑选具有代表性功能进行详细剖析，一起领悟Java高并发编程的魅力。

1、移除不必要的锁

本次性能优化，主要针对的是RocketMQ同步复制场景。

我们首先先来简单介绍一下RocketMQ主从同步在编程方面的技巧。

RocketMQ主节点将消息写入内存后， 如果采用同步复制，需要等待从节点成功写入后才能向消息发送客户端返回成功，

最低0.47元/天 解锁文章
一只会飞的泡泡鱼
关注
RocketMQ 应用场景
anthony4515的博客
01-04 1882
1、异步解耦 场景描述 作为淘宝/天猫主站最核心的交易系统，每笔交易订单数据的产生会引起几百个下游业务系统的关注，包括物流、购物车、积分、阿里妈妈、流计算分析等等，整体业务系统庞大而且复杂，架构设计稍有不合理，将直接影响主站业务的连续性； 高可用松耦合架构设计 通过上、下游业务系统的松耦合设计，即便下游子系统（如物流、积分等）出现不可用甚至宕机，都不会影响到核心交易系统的正常运转； 灵活适应业务的快速增长 商场如战场，通过 MQ 的异步化设计，可以灵活高效的适应因业务快速发展而带来的变化，如新增
RocketMq有什么功能
qq_42918433的博客
02-14 2625
RocketMq有什么功能 先答出消息中间件的通用功能 1、业务解耦：这也是发布订阅的消息模型。生产者发送指令到MQ中，然后下游订阅这类指令的 消费者会收到这个指令执行相应的逻辑，整个过程与具体业务无关，抽象成了一个发送指令，存储 指令，消费指令的过程。 2、前端削峰：前端发起的请求在短时间内太多后端无法处理，可以堆积在MQ中，后端按照一定 的顺序处理，秒杀系统就是这么实现的。 再说说RocketMq的特点： 3、亿级消息的堆积能力，单个队列中的百万级消息的累积容量。 4、高可用性：Broker
RocketMQ
最新发布
qq_56533553的博客
10-12 921
RocketMQ是一个开源的分布式消息队列系统，主要用于解决高并发、高可靠性的消息通信场景。在Java后端中，RocketMQ的作用主要有以下几个方面：1.异步解耦：RocketMQ可以将消息的发送和接收进行异步解耦，提供了可靠的消息传递机制。在高并发场景下，通过使用RocketMQ，可以将消息发送方和接收方解耦，提高系统的稳定性和可伸缩性。2.流量削峰：在高并发的情况下，如果直接将请求发送到后端服务，可能会导致服务过载。
ReentrantLock实现原理
weixin_30687587的博客
02-15 411
以下是本篇文章的大纲 1 synchronized和lock 1.1synchronized的局限性 1.2 Lock简介 2 AQS 3 lock()与unlock()实现原理 3.1 基础知识 3.2 内部结构 3.3 NonfairSync 3.3.1 lock() 3.3.2 unlock() 3.3.3 小结 3.4 FairS...
Java多线程(七) 使用ReentrantLock实现同步
Java Spring Elasticsearch
11-07 227
1. 测试1 1.1 MyService import java.util.concurrent.locks.Lock; import java.util.concurrent.locks.ReentrantLock; public class MyService { private Lock lock = new ReentrantLock(); public void te...
RocketMQ的关键知识笔记
黄老师的博客
01-09 257
6种消息类型 普通消息 顺序消息 广播消息 延时消息 批量消息 事务消息 2种消费模式 集群消费：一个Group ID内只消费一次 广播消费：一个Group ID内所有Consumer都消费 部署架构 Name Server + broker（主/备） + producer + consumer 【broker】与所有Name Server建立长连接 【producer】与某个Name Server建立连接，查询topic所在broker，并与broker master建立连接 【consu
宝儿姐告诉我学习数据库这一篇就差不离了
04-30 398
大家好，我是左耳君，欢迎大家关注 正如大家所预料，接下来我们针对数据库的知识点进行全方位的分析，其实数据库应该是程序员的必备技能了，也是大家最最常用的了，大家不可能在开发中不会用到数据库吧，那我有必要怀疑你是个假程序员 这一系列其实我很早之前就想写了，但是也只是处于一个想的阶段，一个构思，思考如何才能更好的把这一系列写好，其实吧，本来吧我这人写作就不太擅长，不过感觉现在比之前好多了，最起码也可以和大家瞎聊聊了 我也会坚持写下去，虽然现在的粉丝并不多，但是我写这个的初衷也是为了记录自己的学习知识点，我相信每.
性能测试-基础+中级（一）【概述+流程+工具+模型+mysql事务】
hyhrosewind
10-18 567
性能测试定义性能测试在软件的质量保证中起着重要的作用，它包括的测试内容丰富多样。中国软件评测中心将性能测试概括为三个方面：应用在客户端性能的测试、应用在网络上性能的测试和应用在服务器端性能的测试。通常情况下，三方面有效、合理的结合，可以达到对系统性能全面的分析和瓶颈的预测。性能测试：是通过自动化测试工具模拟多种正常、峰值以及异常负载条件来对系统的各种性能指标进行测试。通常，性能测试需要借助工具来实现；性能测试除了关注普通的正常的情况外，还重点关注空间和时间上的很多峰值或异常的系统运行情况；
rocketmq 发送时异常：system busy 和 broker busy 解决方案(2019-06更新)
shenbururen的博客
12-18 873
　　推荐阅读：https://juejin.im/post/5d996285f265da5bad40523c 　　这个文章从源码上分析了原因，并给出了解决方案。 　　文章解决方案一：在broker.config中将transientStorePoolEnable=true。 　　文章解决方案二：扩容broker服务器。 　　具体解决方案说明，可自行阅读文章。 ---------...
关于RocketMQ的性能优化
scholar_1的博客
10-24 2444
Kafka也是一款高性能的消息中间件，在大数据的场景中经常会使用，但是因为Kafka不支持消息失败重试，定时消息，事物消息，它的顺序消息也有明显的缺陷的，在复杂的业务场景下难以支撑。为了方便大家去阅读源码，我简单的跟大家说一下。在分布式服务（SOA）的架构中，我们是不允许任何中间件是单点的，服务发现机制也是必备的。：消息队列，组成Topic的最小单元，一个Topic可以有多个消息队列，Topic是逻辑上的概念，而Queue是物理存储，在Consumer消费Topic时底层实际拉取的是Queue的消息。
RocketMQ保证高可用和高性能的几种措施
爱写代码的程序员
07-20 1088
整体架构 rocketmq是通过broker主从机制来实现高可用的。相同broker名称，不同brokerid的机器组成一个broker组，brokerId=0表明这个broker是master，brokerId>0表明这个broker是slave。 消息生产的高可用：创建topic时，把topic的多个message queue创建在多个broker组上。这样当一个broker组的master不可用后，producer仍然可以给其他组的master发送消息。 rocketmq目前还不支持主从切换，
关于ReentrantLock类的解读
qweasdzxc456123的博客
05-22 703
synchronized关键字提供了语言级别的并发支持,通过这个关键字,标明了可能会产生竞态代码的区域,这样多线程调用的时候就会保证同一时间只有  一个线程可以进入,消除了多线程的问题.  但是用synchronized关键字实现的并发是很重量级别的,因为没有获取到对应锁的线程会阻塞,如果要运行就需要调度,这会涉及到内核的  线程调度,这块的消耗是很大的,可能调度的时间会比你实际代码运行的时
ReentrantLock控制线程池
kao123yaojinqian的专栏
03-24 832
webmagic每次在爬取一个网页时都会将他丢到线程池中的线程去处理，线程池有相应的大小阀值，其中用到了ReentrantLock 重入锁机制控，在超出阀值后等待，防止过多的任务进入 将目标url（request）放入线程池中执行 final Request requestFinal = request; threadPool.execute(new...
RocketMQ消息发送broker busy、超时异常原因分析与解决方案（持续更新）
Ga_gou的博客
12-24 8673
RocketMQ消息发送broker busy、RemotingTooMuchRequestException原因分析与解决方案 背景 bulabula服务部署完，RocketMQ也部署完，开始对生产者的消息发送接口压测。压测过程中偶尔会出现几次broker busy以及RemotingTooMuchRequestException等问题，记录下原因及解决。 关于broker busy解决参考了大...
RocketMQ源码分析之Broker概述与同步消息发送原理与高可用设计及思考
热门推荐
中间件兴趣圈
07-22 1万+
1、Broker概述 Broker 在 RocketMQ 架构中的角色，就是存储消息，核心任务就是持久化消息，生产者发送消息给 Broker,消费者从 Broker 消费消息，其物理部署架构图如下： 备注：以上摘录自官方 RocketMQ 设计文档。 上述基本描述了消息中间件的架构设计，不仅限于 RocketMQ,不同消息中间件的最大区别之一在消息的存储上。 2、B...
RocketMQ(一)——运维管理operation(转)
学会改变自己——才能突破
03-14 2506
最近看了看RocketMQ的官方文档，感觉不错，一直在用，每看一次，深刻一次。接下几篇主要是整理转载一下！ 官方地址：http://rocketmq.apache.org/docs/motivation/ github地址：https://github.com/apache/rocketmq 运维管理(operation） 1 集群搭建 1.1 单Master模式 这种方式风险较大，一旦Br...
rocketmq 雪崩后客户端超时
fei33423的专栏
07-15 9881
rocketmq 雪崩后客户端超时 看了源代码,mq broker 方核心日志信息: 1. 通过 mqAdmin 的消息 id,查看信息的 born 和 stroe 时间 2. 通过慢查日志查看. defaultMessageStore.java 中 PutMessageResult putMessage(MessageExtBrokerInner msg) { l
RocketMQ如何做负载均衡？
04-01
RocketMQ的负载均衡主要是通过以下两种方式实现的：...同时，RocketMQ还采用了Broker群集的方式，将多个Broker节点组成一个群集，客户端可以通过负载均衡算法，选择与最近的Broker节点通信，从而实现服务端的负载均衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值