「线程间的高性能消息框架」深入浅出Disruptor的使用和原理

前提概要

简单回顾 jdk 里的队列：

阻塞队列:

ArrayBlockingQueue主要通过：数组（Object[]）+ 计数器（count）+ ReetrantLock的Condition (notEmpty:非空、notFull：非饱和)进行阻塞。

入队操作：

• 操作不阻塞：
  • add：添加失败，则会直接进行返回。
  • offer：添加失败后(满了)直接抛出异常，注意：offer(E o, long timeout, TimeUnit unit)：可以设定等待的时间，如果在指定的时间内，还不能往队列中加入BlockingQueue，则返回失败。
• 操作阻塞：
  • put：满了，通过Condition：notFull.await()阻塞当前数据信息，当出队和删除元素时唤醒 put 操作。

出队操作：

• 操作不阻塞：
  • poll：当空时直接返回 null。poll(long timeout, TimeUnit unit)：从BlockingQueue取出一个队首的对象，如果在指定时间内，队列一旦有数据可取，则立即返回队列中的数据。否则知道时间，超时还没有数据可取，返回失败。
  • remove：删除元素情况相关元素信息控制，InterruptException异常
• 操作阻塞：
  • take：当空时，notEmpty.await()(当有元素入队时唤醒)。
• drainTo():一次性从BlockingQueue获取所有可用的数据对象（还可以指定获取数据的个数），通过该方法，可以提升获取数据效率；不需要多次分批加锁或释放锁。

与ArrayBlockingQueue相对的是LinkedBlockingQueue：Node 实现、加锁（读锁、写锁分离）、可选的有界队列。需要考虑实际使用中的内存问题，防止溢出。

实际应用

线程池队列

Excutors 默认是使用 LinkedBlockingQueue，但是在实际应用中，更应该手动创建线程池使用有界队列，防止生产者生产过快，导致内存溢出。

延迟队列(ScheduleService也是采用了延时队列哦!):

DelayQueue : PriorityQueue (优先级队列) + Lock.condition (延迟等待) + leader (避免不必要的空等待)。

主要方法：

• getDelay() 延迟时间。

• compareTo() 通过该方法比较从PriorityQueue里取值。

入队：

与BlockingQueue很相似，add、put、offer：入队时会将换唤醒等待中的线程，进行一次出队处理。

出队：

• 如果队列里无数据，元素入队时会被唤醒。

• 如果队列里有数据，会阻塞至时间满足。

  • take-阻塞：
  • poll-满足队列有数据并且 delay 时间小于0时候会取出元素，否则立即返回 null 可能会抢占成为 leader。

应用场景：

• 延时任务：设置任务延迟多久执行；需要设置过期值的处理，例如缓存过期。

• 实现方式：每次 getDelay() 方法提供一个缓存创建时间与当前时间的差值，出队时 compareTo() 方法取差值最小的。每次入队时都会重新取出队列里差值最小的值进行处理。

• 使用队列更多的是像生产者、消费者这种场景，这种场景大多数情况又对处理速度有着要求，所以我们会使用多线程技术。

• 使用多线程就可能会出现并发，为了避免出错，我们会选择线程安全的队列。

  • ArrayBlockingQueue、LinkedBlockingQueue 或者是 ConcurrentLinkedQueue。前俩者是通过加锁取实现，后面一种是通过 cas 去实现线程安全。

  • 要考虑到生产者过快可能造出的内存溢出的问题，所以看起来 ArrayBlockingQueue 是最符合要求的。

但是因为加锁效率又会变慢，所以就引出了：Disruptor服务框架 ！

---

Disruptor简介介绍

• Disruptor的源码Git仓库地址：