9.阻塞队列
9.1 BlockingQueue简介
Concurrent 包中,BlockingQueue很好的解决了线程中,如何高效安全"传输"数据的问题。通过这些高效并且线程安全的队列类,为我们快速搭建高质量的多线程程序带来极大的便利。
阻塞队列,顾明思义,首先它是一个队列,通过一个共享的队列,可以使得队列的一端输入,另一端输出。
线程1往阻塞队列里添加元素,线程2从注释队列里移除元素。
当队列是空的,从队列中获取元素操作将会被阻塞。
当队列是空的,从队列中添加元素操作将会被阻塞。
试图向已满的队列中添加新元素线程将会被阻塞,知道其他线程往空队列插入新的元素。
试图往已满的队列中添加新元素的线程将会被阻塞,直到其他线程从队列移除一个或多个元素或者完全情况,使队列空闲起来并后续新增。
常用的队列主要有以下两种:
- 先进先出(FIFO):先插入的队列元素也是最先出队列,类似于排队的功能。
- 后进先出(LIFO):后插入队列的元素最先出队,这种队列优先处理最近发生的时间
在多线程领域:所谓阻塞,在某些情况下会被挂起来(既阻塞),一旦满足条件,被挂起的线程又会自动被唤起。
为什么需要BlockingQueue
好处就是我们不需要关心什么时候需要阻塞线程,什么时候需要唤醒线程,因为这一切BlockingQueue都给你一手包办好了。
在concurrent包发布以前,在多线程环境下,都必须要去自己控制这些细节。尤其还要兼顾效率和线程安全,会给程序带来不小的复杂度。
多线程环境中,通过队列可以很容易实现数据共享,比如经典的“生产者”和 “消费者”模型中,通过队列可以很便利地实现两者之间的数据共享。假设我 们有若干生产者线程,另外又有若干个消费者线程。如果生产者线程需要把准 备好的数据共享给消费者线程,利用队列的方式来传递数据,就可以很方便地 解决他们之间的数据共享问题。但如果生产者和消费者在某个时间段内,万一 发生数据处理速度不匹配的情况呢?理想情况下,如果生产者产出数据的速度 大于消费者消费的速度,并且当生产出来的数据累积到一定程度的时候,那么 生产者必须暂停等待一下(阻塞生产者线程),以便等待消费者线程把累积的 数据处理完毕,反之亦然。
- 当队列中没有数据的情况下,消费者端的所有线程都会被自动阻塞(挂起),直到有数据放入队列。
- 当队列中填满数据的情况下,生产者端的所有线程都会被自动阻塞(挂起),直到队列中有空的位置,线程被自动唤醒。
9.2 BlockingQueue核心方法
方法类型 | 抛出异常 | 特殊值 | 阻塞 | 超时 |
---|---|---|---|---|
插入 | add(e) | offer(e) | put(e) | offer(e,time,unit) |
移除 | remove() | poll() | take() | poll(e,unit) |
检查 | element() | peek() | 不可用 | 不可用 |
抛出异常 | 当阻塞队列满时,在往队列里add插入元素会抛出Queue full,当阻塞队列空时,再往队列里remove移除元素会抛出,NoSuchElementException |
---|---|
特殊值 | 插入方法,成功true失败false,移除方法,成功返回队列的元素,队列里面为空就返回null |
阻塞 | 当阻塞队列满时,生产者线程继续往队列里put元素,队列会一直阻塞产生者线程直到put数据or中断退出,当线程为空时,消费者线程视图从队列中take元素,队列会一直阻塞线程直到线程可用。 |
超时退出 | 当阻塞队列满时,队列会阻塞生产者线程一定时间,超过限时后产生者会退出。 |
9.2.1 BlockingQueue的核心方法
-
放入数据
- offer(anObject):表示如果可能的话,将anObject加到BlockingQueue里,即如果BlockingQueue,可以容纳,则返回true,否则返回false。(本方法不阻塞当前执行方法的线程)
- offer(E o,long timeout,TimeUnit unit):可以设定等待的时间,如果在指定的时间内,还不能往队列中加入BlockingQueue,则返回失败。
- put(anObject):把anObject加到Blocking加到BlockingQueue里,如果BlockQueue没有空间则调用此方法的线程被阻断知道BlockingQueue里面有空间再继续。
-
获取数据
- poll(time):取走BlockingQueue里排在首位的对象,若不能取出立即取出,则可以等time参数规定的时间,取不到返回null。
- poll(long timeout,TimeUnit unit):从BlockingQueue取出一个队首的对象在指定时间内,队列一旦可取,则立即返回队列中的数据。否则直到时间超时还没数据取出,则返回失败。
- take():取走BlockingQueue里排再首位的对象,弱BlockingQueue为空,阻断进入等待状态直到BlockingQueue有新的数据被加入;
- drainTo():一次性从BlockingQueue获取所有可用的数据对象(还可以指定获取的数据的个数),通过该方法,可以提升获取数据效率,不需要多次分批加锁或释放锁。
9.3 入门案例
public static void main(String[] args) throws InterruptedException { // 创建阻塞队列 BlockingQueue<String> blockingQueue = new ArrayBlockingQueue<>(3); // 第一组,抛出异常 // true // System.out.println(blockingQueue.add("a")); // System.out.println(blockingQueue.add("b")); // System.out.println(blockingQueue.add("c")); // 检查元素取出第一个,a // System.out.println(blockingQueue.element()); // 抛出异常,Queue full:队列满了 // System.out.println(blockingQueue.add("w")); // a // System.out.println(blockingQueue.remove()); // b // System.out.println(blockingQueue.remove()); // c // System.out.println(blockingQueue.remove()); // NoSuchElementException // System.out.println(blockingQueue.remove()); // 第二组,特殊值 // true // System.out.println(blockingQueue.offer("a")); // true // System.out.println(blockingQueue.offer("b")); // true // System.out.println(blockingQueue.offer("c")); // false // System.out.println(blockingQueue.offer("www")); // a // System.out.println(blockingQueue.poll()); // b // System.out.println(blockingQueue.poll()); // c // System.out.println(blockingQueue.poll()); // null // System.out.println(blockingQueue.poll()); // 第三组,阻塞 // blockingQueue.put("a"); // blockingQueue.put("b"); // blockingQueue.put("c"); // blockingQueue.put("w"); // a // System.out.println(blockingQueue.take()); // b // System.out.println(blockingQueue.take()); // c // System.out.println(blockingQueue.take()); // 阻塞 // System.out.println(blockingQueue.take()); // 第四组,放元素 // a // System.out.println(blockingQueue.offer("a")); // b // System.out.println(blockingQueue.offer("b")); // c // System.out.println(blockingQueue.offer("c")); // 超时3秒 // System.out.println(blockingQueue.offer("w", 3L, TimeUnit.SECONDS)); }
9.4 常见的BlockingQueue
9.4.1 ArrayBlockingQueue
基于数组的阻塞队列实现,在 ArrayBlockingQueue 内部,维护了一个定长数 组,以便缓存队列中的数据对象,这是一个常用的阻塞队列,除了一个定长数 组外,ArrayBlockingQueue 内部还保存着两个整形变量,分别标识着队列的 头部和尾部在数组中的位置。
ArrayBlockingQueue 在生产者放入数据和消费者获取数据,都是共用同一个 锁对象,由此也意味着两者无法真正并行运行,这点尤其不同于 LinkedBlockingQueue;按照实现原理来分析,ArrayBlockingQueue 完全可 以采用分离锁,从而实现生产者和消费者操作的完全并行运行。Doug Lea 之 所以没这样去做,也许是因为 ArrayBlockingQueue 的数据写入和获取操作已 经足够轻巧,以至于引入独立的锁机制,除了给代码带来额外的复杂性外,其 在性能上完全占不到任何便宜。 ArrayBlockingQueue 和 LinkedBlockingQueue 间还有一个明显的不同之处在于,前者在插入或删除 元素时不会产生或销毁任何额外的对象实例,而后者则会生成一个额外的 Node 对象。这在长时间内需要高效并发地处理大批量数据的系统中,其对于 GC 的影响还是存在一定的区别。而在创建 ArrayBlockingQueue 时,我们还 可以控制对象的内部锁是否采用公平锁,默认采用非公平锁。
9.4.2 LinkedBlockingQueue
基于链表的阻塞队列,同 ArrayListBlockingQueue 类似,其内部也维持着一 个数据缓冲队列(该队列由一个链表构成),当生产者往队列中放入一个数据 时,队列会从生产者手中获取数据,并缓存在队列内部,而生产者立即返回; 只有当队列缓冲区达到最大值缓存容量时(LinkedBlockingQueue 可以通过 构造函数指定该值),才会阻塞生产者队列,直到消费者从队列中消费掉一份 数据,生产者线程会被唤醒,反之对于消费者这端的处理也基于同样的原理。 而 LinkedBlockingQueue 之所以能够高效的处理并发数据,还因为其对于生 产者端和消费者端分别采用了独立的锁来控制数据同步,这也意味着在高并发 的情况下生产者和消费者可以并行地操作队列中的数据,以此来提高整个队列 的并发性能。
ArrayBlockingQueue 和 LinkedBlockingQueue 是两个最普通也是最常用 的阻塞队列,一般情况下,在处理多线程间的生产者消费者问题,使用这两个 类足以。