《重学Java高并发，kafka面试

上面有几个知识点：

• UnSafe的arrayIndexScacle方法返回当前jvm中用来表示一个数组下标占用的字节数，64位操作系统开启了指针压缩将返回4，否则返回8，默认开启了指针压缩。

• UnSafe的arrayBaseOffset可以获取数组的起始位置。

• 为了避免伪共享，用户申请bufferSize长度的数组，在内部会扩大其容量，在前后都会填充，这里在前后分别填充了128字节。

RingBuffer的内存布局如下图所示：

3、无锁化实现原理

---

了解来数据存储结构后，接下来将分析RingBuffer的写入与读取，特别是探究多线程环境下如何实现无锁化。

3.1 多线程写入无锁化实现原理

在介绍写入数据之前我们先来看一段基于disruptor的写入模板代码：

上述的关键点如下：

• 通过调用RingBuffer的tryNext方法一个写入位置，如果当前没有可用位置供写入，则抛出队列已满异常。

• 通过调用RingBuffer指定下标位置的元素，供数据填充，RingBuffer引用对象池技术，避免发生GC。

• 数据填充完毕后通过调用RingBuffer的publish方法，通知消费方可使用。

• 如果遇到队列已满异常，等待片刻，再次尝试写入。

显而易见，通过调用tryNext方法非常重要，是整个数据写入的核心，故接下来探究该方法，进入RIngBuffer无锁化设计的核心。

RingBuffer的tryNext方法的实现逻辑如下：

可见，RingBuffer直接委托给Sequencer，那Sequencer又是何许人也呢？

3.1.1 Sequencer详解

Sequencer的核心类图如下图所示：

基本的行为主要由Sequenced基类定义，也是理解该类体系职责的关键窗口，Sequenced主要定义如下行为：

• int getBufferSize()

获取缓存区的容量

• boolean hasAvailableCapacity(int requiredCapacity)

判断当前缓存区是否有充足的容量

• long remainingCapacity()

当前剩余的容量

• long next()

获取下一个可写的序号，该值会超过bufferSize，与其进行取模得出底层数组中的下标

• long next(int n)

获取n个连续可写的位置，返回值为这批次最高的序号

• long tryNext() throws InsufficientCapacityException

尝试获取下一个可写的序号，如果当前无可写序号，抛出空间不足异常

• long tryNext(int n) throws InsufficientCapacityException

尝试连续获取n个可写序号，不足则抛出异常

• void publish(long sequence)

将序号为sequence发布，消费端可消费。

• void publish(long lo, long hi)

将序号 l0到 hi这批消息发布到消费端。

Sequencer继承Sequenced，主要增加了**栈栏(Barrier)**支持，在介绍具体实现时再重点关注。

MultiProducerSequencer、SingleProducerSequencer两个具体的实现，也是Disruptor实现无锁化的核心要点。

3.2 MultiProducerSequencer详解

从名称来看，是多生产者序号实现器。通俗的讲，就是实现多线程写入同一个队列，但无需引入锁。

关于写入序号的获取是MultiProducerSequencer的核心，具体由其next方法实现，为了更容易理解其实现原理，首先和大家介绍一下环形队列的基本特征。

环形队列的底层实现原理如下图所示：

所谓的环形队列，就是对数组进行重复利用，如上图所示，put指针移动道下标为3对时候，如果继续写，就会移动到数组下标为0到位置继续写入，故存在数据的覆盖，为了避免覆盖未处理的数据，需要满足一定的条件。

putIndex - getIndex < size ,其中getIdnex表示第一条待处理的数据。

理解来环形队列的基本特征，接下来我们来看一下MultiProducerSequencer next 方法的实现原理，其代码如下图所示：

通读这段代码，结合环形队列的实现原理，首先来解释一下几个变量的含义：

• cursor

环形队列已使用的最大序号，下一个可写序号从 cursor + 1 开始。

• gatingSequences

消费端已处理的最小序列号，即对标环形队列中的getIndex，不过这里的gatingSequences表示的是已处理的序号。

**那分支@1是什么意思呢？**判断缓存区不可写的条件，其变换过程如下图所示：

经过上述等式的变换，理解分支@1就不难了，也就是分支@1就是判断暂时不能写入序号，再次获取最新的消费序号，然后进行一次判断，如果还是不满足上述条件，则首先需要唤醒等待的消费者，因为此时有数据待消费，然后发送方进行自循。

分支@2：使用CAS命令尝试更新，如果更新成功，则返回next给发送者，允许发送方对next下标填充数据，但由于存在多个发送方，该next可能会被其他线程优先获取，故使用CAS命令，如果返回false，则自循。

编程技巧：CAS的使用技巧通常会结合while，其模板代码如下：

总结:主要是基于CAS实现无锁化，并且为了避免竞争，还提供了批处理机制，即发送方可以一次获取多个连续的序号，减少发送方端端竞争。

3.2 多线程数据消费无锁化实现原理

在disruptor中，并发消费的实现类有WorkerPool、BatchEventProcessor(批处理)。接下来将分别介绍。

3.2.1 WorkerPool多线程协作模式

即多个WorkProcessors对同一个RingBuffer中的数据进行处理，即多消费者场景，接下来将探究WorkProcessor的run方法，其代码实现如下图所示：

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）

rzn-1710848028702)]
[外链图片转存中…(img-uHcrju5k-1710848028703)]
[外链图片转存中…(img-91Hw0Hqm-1710848028703)]

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）
[外链图片转存中…(img-K7upVpwH-1710848028704)]