springboot~disruptor异步队列

最新推荐文章于 2024-08-30 17:00:00 发布
最新推荐文章于 2024-08-30 17:00:00 发布
阅读量1.5k 收藏 1
点赞数
文章标签： java struts 程序人生 spring 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_66876551/article/details/124425106
版权
本文介绍了Disruptor高性能队列的背景及其如何解决Java内置队列的线程安全问题。重点讨论了伪共享现象，即由于CPU缓存行导致的多线程效率下降，并提出了通过填充无关变量来避免伪共享的解决方案。Disruptor通过Sequence类处理volatile变量的伪共享问题，提高无锁框架的性能。
摘要由CSDN通过智能技术生成

Disruptor

Disruptor是英国外汇交易公司LMAX开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题（在性能测试中发现竟然与I/O操作处于同样的数量级）。

Java内置队列的问题

介绍Disruptor之前，我们先来看一看常用的线程安全的内置队列有什么问题。Java的内置队列如下表所示。
[图片上传失败...(image-e0faf5-1650947361870)]

队列的底层一般分成三种：数组、链表和堆。其中，堆一般情况下是为了实现带有优先级特性的队列，暂且不考虑。

从数组和链表两种数据结构来看，基于数组线程安全的队列，比较典型的是ArrayBlockingQueue，它主要通过加锁的方式来保证线程安全；基于链表的线程安全队列分成LinkedBlockingQueue和ConcurrentLinkedQueue两大类，前者也通过锁的方式来实现线程安全，而后者以及上面表格中的LinkedTransferQueue都是通过原子变量compare and swap（以下简称“CAS”）这种不加锁的方式来实现的。

但是对 volatile类型的变量进行 CAS 操作，存在伪共享问题,下面介绍一下

伪共享

CPU的缓存系统是以缓存行(cache line)为单位存储的，一般的大小为64bytes。在多线程程序的执行过程中，存在着一种情况，多个需要频繁修改的变量存在同一个缓存行当中。

假设：有两个线程分别访问并修改X和Y这两个变量，X和Y恰好在同一个缓存行上，这两个线程分别在不同的CPU上执行。那么每个CPU分别更新好X和Y时将缓存行刷入内存时，发现有别的修改了各自缓存行内的数据，这时缓存行会失效，从L3中重新获取。这样的话，程序执行效率明显下降。为了减少这种情况的发生，其实就是避免X和Y在同一个缓存行中，可以主动添加一些无关变量将缓存行填充满，比如在X对象中添加一些变量，让它有64 Byte那么大，正好占满一个缓存行。
[图片上传失败...(image-7983b-1650947361870)]

伪共享问题 的解决方案

简单的说，就是 以空间换时间： 使用占位字节，将变量的所在的 缓冲行 塞满。
disruptor 无锁框架就是这么干的。

Disruptor框架是如何解决伪共享问题的？

在Disruptor中有一个重要的类Sequence，该类包装了一个volatile修饰的long类型数据value，无论是Disruptor中的基于数组实现的缓冲区RingBuffer࿰

最低0.47元/天 解锁文章
Dale Lucy
关注
Spring Boot 使用 Disruptor 做内部消息队列
m0_71777195的博客
01-09 394
Disruptor 是英国外汇交易公司LMAX开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题（在性能测试中发现竟然与I/O操作处于同样的数量级）。基于 Disruptor 开发的系统单线程能支撑每秒 600 万订单，2010 年在 QCon 演讲后，获得了业界关注。Disruptor是一个开源的Java框架，它被设计用于在生产者—消费者（producer-consumer problem，简称PCP）问题上获得尽量高的吞吐量（TPS）和尽量低的延迟。
springboot添加task异步任务队列
J_S_King的博客
11-08 2221
public interface Itask { void run(); } public class MyTask implements Itask { public MyTask () { } //要执行的代码逻辑 @Override public void run() { System.out.println("MyTask"); } } public class TaskExecutor extends Thread {
600万订单每秒Disruptor +SpringBoot，如何解决消息不丢失？
架构师尼恩
03-01 1994
Disruptor是英国外汇交易公司LMAX开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题（在性能测试中发现竟然与I/O操作处于同样的数量级）。基于Disruptor开发的系统单线程能支撑每秒600万订单，2010年在QCon演讲后，获得了业界关注。2011年，企业应用软件专家Martin Fowler专门撰写长文介绍Disruptor。2011年，Disruptor还获得了Oracle官方的Duke大奖。
在Spring Boot中实现消息队列的异步处理
weixin_34493871的博客
07-08 40
在Spring Boot中实现消息队列的异步处理 大家好，我是微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！ 1. 消息队列的基本概念 消息队列是一种在应用程序之间传递消息的通信方式，它能够实现解耦、异步处理和削峰填谷等功能。在Spring Boot中，可以通过集成消息队列来实现异步处理，提升系统的性能...
Spring Boot使用Disruptor做内部高性能消息队列
2301_76419561的博客
08-01 1325
Disruptor是一个高性能、低延迟的消息传递框架，由英国外汇交易公司LMAX开发，旨在解决内存队列的延迟问题，实现高吞吐量和低延迟的数据交换。Disruptor之所以在性能上表现突出，主要得益于其独特的设计哲学和底层实现。传统的并发队列（如BlockingQueue）虽然简单易用，但在处理大量并发数据时，性能往往不尽如人意。Disruptor则通过一系列创新的技术手段，极大地提高了并发处理的效率。
Spring Boot集成disruptor快速入门demo
HBLOG
03-29 618
1.disruptor介绍什么是 Disruptor?Disruptor 是英国外汇交易公司 LMAX 开发的一个高性能的并发框架。可以认为是线程间通信的高效低延时的内存消息组件，它最大的特点是高性能。与 Kafka、RabbitMQ 用于服务间的消息队列不同，disruptor 一般用于一个 JVM 中多个线程间消息的传递。从功能上来看，Disruptor 实现了“队列”的功能，而且是一个有界队...
spring-boot-starter-disruptor.zip
11-22
springboot集成disruptor，自动配置，便于快速开发，隐藏disruptor复杂的使用，线程池的频繁创建，优化开发。
Spring Boot 项目使用 Disruptor 做内部消息队列
良月柒
03-27 668
程序员的成长之路互联网/程序员/技术/资料共享关注阅读本文大概需要 6 分钟。来自：blog.csdn.net/buertianci/article/details/10532703101、背景工作中遇到项目使用Disruptor做消息队列,对你没看错,不是Kafka,也不是rabbitmq;Disruptor有个最大的优点就是快,还有一点它是开源的哦,下面做个简单的记...
springboot整合disruptor（线程工厂）
weixin_42405132的博客
03-24 1579
生产者往RingBuffer中放数据，disruptor把数据推给消费者
Disruptor-Spring-Boot-Starter：Disruptor的启动器
01-30
破坏者弹簧启动启动器 破坏者的Spring Boot Starter 基于Disruptor的Spring Boot Starter实现，初步事件推导，处理封装 1，事件推动 a，配置简单，少量配置即可实现初始化事件推送 2，事件处理 a、配置简单，少量配置即可实现异步事件处理 b、组件实现了基于责任链的事件处理实现；可实现对具备不同 事件规则 ruleExpression 的事件对象进行专责处理；就如 Filter，该组件实现的Handler采用了同样的原理； / Event-DC-Output / TagA-Output / ** = inDbPostHandler该配置表示； Event =事件DC-Output，标签= TagA-Output，键=任何类型的事件对象交由inDbPostHandler来处理 / Event-DC-Output / TagB-Output / ** = smsPostHandler该配置表示； Event = Event-DC-Output，标签= TagB-Output，键=任何类型的事件对象交由smsPostHandler来处理 通过这种责任
spring集成disruptor
03-12
网上关于Disruptor的例子大部份是旧版本的， 其中集成spring的更少， 只好自已写个新版本简单的demo了。 该demo利用spring的定时器往Disruptor添加数据， 希望该demo能帮助到大家。
spring与disruptor集成的简单示例
08-27
Spring 与 Disruptor 集成的简单示例是指将 Spring 框架与 Disruptor 库集成，以实现高性能的异步消息处理。Disruptor 库是一个高性能的队列处理库，能够提供高效、可靠的消息处理能力。 在本示例中，我们将演示...
十五、寻龙队列术——Disruptor+Redis 队列
最新发布
流楚丶格念的博客
08-30 2161
Disruptor 是 LMAX 开源的高性能异步处理框架，提供了高性能的无锁内存队列实现，并优化了 CPU 伪共享，旨在构建低延迟、高吞吐量的交易型应用。Disruptor 可以用于构建复杂的任务工作流，下面是一个消费者工作流的示意图：在实际项目中，我们将 Disruptor 与 Redis 结合，用于异步处理任务。整体架构如下图所示：Redis 队列：我们使用 Redis List 数据结构来存储任务，并分为等待队列、本地处理队列、失败队列、备份队列。
[springboot]使用log4j2异步日志提升性能
m0_54850825的博客
06-21 1162
同步日志的业务流程处理和日志打印是在同一个线程，日志打印的过程实际上是写文件IO的过程，这个过程是相对耗时的，并且会阻塞主线程的执行，只有日志打印完成后才会继续执行业务处理代码。如果日志量比较大，会影响主业务流程的处理效率。异步日志实现方式：将日志存入一个单独的队列中，有一个单独的线程从队列中获取日志并写入磁盘文件。Log4j2基于LMAX公司开发Disruptor（一个开源的无锁并发框架），改善了Log4j和Logback在架构设计方面的缺陷，具有超高的吞吐量和低延迟。所以我们想获取log4j2异步日志带
Spring Boot + Disruptor
zalan01408980的博客
02-09 411
Disruptor 是英国外汇交易公司LMAX开发的一个高性能队列，研发的初衷是解决内存队列的延迟问题（在性能测试中发现竟然与I/O操作处于同样的数量级）。基于 Disruptor 开发的系统单线程能支撑每秒 600 万订单，2010 年在 QCon 演讲后，获得了业界关注。
【Java】SpringBoot实现异步任务（案例实现）
m0_64210833的博客
12-22 2053
SpringBoot实现异步任务（案例实现）
Spring boot 整合disruptor
Crystalqy的博客
07-09 2939
第一步：引入pom <dependency> <groupId>com.lmax</groupId> <artifactId>disruptor</artifactId> <version>3.4.2</version> </dependency> 第二步：定义MessageModel @Data public class MessageModel { private String mes
springboot 内部消息
11-25
Spring Boot提供了多种内部消息的实现方式，其中一种常用的方式是使用Disruptor做消息队列。Disruptor是一个高性能的无锁内存队列，可以用于异步处理消息。下面是一个使用Disruptor做消息队列的测试类及方法的例子： ```java @Slf4j @RunWith(SpringRunner.class) @SpringBootTest(classes=DemoApplication.class) public class DemoApplicationTests { @Autowired private DisruptorMqService disruptorMqService; /** * 项目内部使用Disruptor做消息队列 * @throws Exception */ @Test public void sayHelloMqTest() throws Exception { disruptorMqService.sayHelloMq("消息到了，Helloworld!"); log.info("消息队列已发送完毕"); //这里停止2000ms是为了确定是处理消息是异步的 Thread.sleep(2000); } } ``` 另外，为了方便传递消息，可以定义一个消息体Model，如下所示： ```java /** * 消息体 */ @Data public class MessageModel { private String message; } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值