【并发编程】ShenyuAdmin里面数据同步用到的无锁环形队列LMAX Disruptor并发框架

码农服务社

已于 2023-08-07 20:11:00 修改

阅读量210

点赞数

分类专栏： Java面试题软件研发数据同步文章标签： java

于 2023-08-07 17:51:38 首次发布

本文链接：https://blog.csdn.net/wenchun001/article/details/132151163

版权

软件研发同时被 3 个专栏收录

50 篇文章 1 订阅

订阅专栏

Java面试题

25 篇文章 0 订阅

订阅专栏

数据同步

13 篇文章 0 订阅

订阅专栏

并发，数据同步往往是业务开发中比较重要的部分。

shenyu网关数据同步设计方案图

shenyu官网给出的同步设计方案图如下：

基于事件异步并发框架com.lmax.disruptor

下载下示例代码，跑起来发现，在shenyuAdmin模块里面用到了com.lmax.disruptor

引用一段文章

LMAX是一种新型零售金融交易平台，它能够以很低的延迟产生大量交易这个系统是建立在JVM平台上，其核心是一个业务逻辑处理器，它能够在一个线程里每秒处理6百万订单。业务逻辑处理器完全是运行在内存中，使用事件源驱动方式。业务逻辑处理器的核心是Disruptor。Disruptor它是一个开源的并发框架，并获得2011 Duke’s 程序框架创新奖，能够在无锁的情况下实现网络的Queue并发操作。Disruptor是一个高性能的异步处理框架，或者可以认为是最快的消息框架(轻量的JMS)，也可以认为是一个观察者模式的实现，或者事件监听模式的实现。

Disruptor是如何工作的？

Disruptor 有一个基于数组的循环数据结构(环装缓冲区)。这个循环数据结构，它是个拥有下个可用元素引用的数组。预先分配了对象内存空间。生产者与消费者通过这个循环数据结构进行读写操作，并不会有锁或资源竞争。

在Disruptor 中，所有事件(events)以组播的方式被发布给所有消费者，以便下游队列通过并行的方式进行消费。因为消费者的并行消费，需要协调消费者间的依赖关系(依赖关系图)。

生产者和消费者中有个序列计数器，指示缓冲区中当前正在被它所处理的元素。所有生产者或消费者都只可以修改它自己的序列计数器，但同时可以读取其他的序列计数器。

Disruptor 介绍

Disruptor 是苹国外厂本易公司LMAX开发的一个高件能列，研发的初夷是解决内存队列的延识问顾在性能测试中发现竟然与10操作处于同样的数量级)，基于Disruptor开发的系统单线程能支撑每秒600万订单，2010年在QCn演讲后，获得了业界关注，201年，企业应用软件专家Martin Fower专门撰写长文介绍。同年它还获得了Oradle官方的Duke大奖。目前，包括Apache StomCame、 L0g4 2在内的很多知名项目都应用了Disrupior以获取高性能。注意，这里所说的队列是系统内部的内存队列，而不是Kaka这样的分布式队列。
Github: https://github.com/LMAX-Exchange/disruptor
Disruptor实现了队列的功能并且是一个有界队列，可以用于生产者-消费者模型。

JUC包下的队列

juc下的队列大部分采用Reentranlock锁方式保证线程安全。在稳定性要求特别高的系统中，为了防止生产者速度过快，导致内存溢出，只能选择有界队列。
加锁的方式通常会严重影响性能。线程会因为竞争不到锁而被挂起，等待其他线程释放锁而唤醒，这个过程存在很大的开销，而且存在死锁的隐患。
有界队列通常采用数组实现。但是采用数组实现又会引发另外一个问题false sharing(伪共享)。

CompletableFuture创建异步操作

CompletableFuture 提供了四个静态方法来创建一个异步操作:

public static CompletableFuture<Void> runAsync(Runnable runnable)
public static CompletableFuture<Void> runAsync(Runnable runnable, Executor executor)
public static CompletableFuture supplyAsync(Supplier supplier)
4 public static CompletableFuture supplyAsync(Supplier supplier, Executor executor)

这四个方法区别在于

1，runAsync 方法以Rumnable函数式接口类型为参数，没有返结果，upplyAsync 方法Suppler函数式接口类型为参数，返回结果类型为U; Suppler 接的 get) 方法是有返回值的 (会阻塞)

2，没有指定Executor的方法，默认会使用ForkJoinPool.commonPool()作为它的线程池执行异步代码。如果指定线程池，则使用指定的线程池运行。

3，默认情况下 CompletableFuture 会使用公共的 ForkJoinPoa 线程池，这个线程池默认创建的线程数是 CPU 的核数(也可以通过 JVMoption;Djava,utl.concurrent.ForkJoinPod.common.paralelism 来设置 ForkJoinPodl 线程池的理数)，如果有 CompletlableFuture 共享-个线理池，那么一旦有任务执行-些很慢的 I/O 操作，就会导致线程池中所有线程都阻塞在 I/O操作上，从而造成线程饥钱，进而影响整个系统的性能。所以，强烈建议你要根据不同的业务类型创建不同的线程池，以避免互相干扰。