一个简单的Thread缓冲池的实现

原创 2004年10月17日 13:11:00

在应用中,我们常常需要Thread缓冲池来做一些事以提高程序的效率和并发性。本文演示了如何利用Queue这种数据结构实现一个简单的Thread缓冲池。<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

 

一个Thread缓冲池可以设计成以下这样:缓冲池由几个工作Thread和一个Queue组成,Client负责把任务放到Queue里面(put方法),而工作Thread就依次取出这些任务并执行它们(get方法)。

 

Queue的一个经典实现是使用一个循环数组(这个实现在很多数据结构的书上都有介绍),如下图所示:

o_queue.gif

图示是一个大小为size的数组,这个循环数组可以被想象成首尾相连的一个环。oldest指向Queue中最老的数据所在的位置,next指向下一个可以放新数据的位置。

放入一个新数据到next的位置后,需要更新nextnext = (next + 1) % size;

oldest位置取出一个数据后,需要更新oldestoldest = (oldest + 1) % size;

oldest == next的时候,Queue为空,

(next + 1) % size == oldest的时候,Queue为满。

(注意:为了区分Queue为空和为满的情况,实际上Queue里面最多能放size-1个数据。)

 

因为这个Queue会同时被多个线程访问,需要考虑在这种情况下Queue如何工作。首先,Queue需要是线程安全的,可以用Java里的synchronized关键字来确保同时只有一个Thread在访问Queue.

 

我们还可以注意到当Queue为空的时候,get操作是无法进行的;当Queue为满的时候,put操作又是无法进行的。在多线程访问遇到这种情况时,一般希望执行操作的线程可以等待(block)直到该操作可以进行下去。比如,但一个Thread在一个空Queue上执行get方法的时候,这个Thread应当等待(block),直到另外的Thread执行该Queueput方法后,再继续执行下去。在Java里面,Object对象的wait(),notify()方法提供了这样的功能。

 

把上面的内容结合起来,就是一个SyncQueue的类:

public class SyncQueue {

   

    public SyncQueue(int size) {

       _array = new Object[size];

       _size = size;

       _oldest = 0;

       _next = 0;

    }

   

    public synchronized void put(Object o) {

       while (full()) {

           try {

              wait();

           } catch (InterruptedException ex) {

              throw new ExceptionAdapter(ex);

           }

       }

       _array[_next] = o;

       _next = (_next + 1) % _size;

       notify();

    }

   

    public synchronized Object get() {

       while (empty()) {

           try {

              wait();

           } catch (InterruptedException ex) {

              throw new ExceptionAdapter(ex);

           }

       }

       Object ret = _array[_oldest];

       _oldest = (_oldest + 1) % _size;

       notify();

       return ret;

    }

   

    protected boolean empty() {

       return _next == _oldest;

    }

   

    protected boolean full() {

       return (_next + 1) % _size == _oldest;

    }

   

    protected Object [] _array;

    protected int _next;

    protected int _oldest;

    protected int _size;

}


可以注意一下getput方法中while的使用,如果换成if是会有问题的。这是个很容易犯的错误。;-)
在以上代码中使用了ExceptionAdapter这个类,它的作用是把一个checked Exception包装成RuntimeException。详细的说明可以参考我的避免在Java中使用Checked Exception一文。

 

接下来我们需要一个对象来表现Thread缓冲池所要执行的任务。可以发现JDK中的Runnable interface非常合适这个角色。

 

最后,剩下工作线程的实现就很简单了:从SyncQueue里取出一个Runnable对象并执行它。

public class Worker implements Runnable {

   

    public Worker(SyncQueue queue) {

       _queue = queue;

    }

   

    public void run() {

       while (true) {

           Runnable task = (Runnable) _queue.get();

           task.run();

       }

    }

   

    protected SyncQueue _queue = null;

}

 

下面是一个使用这个Thread缓冲池的例子:

       //构造Thread缓冲池

       SyncQueue queue = new SyncQueue(10);

       for (int i = 0; i < 5; i ++) {

           new Thread(new Worker(queue)).start();

       }

      

       //使用Thread缓冲池

       Runnable task = new MyTask();

       queue.put(task);

 

为了使本文中的代码尽可能简单,这个Thread缓冲池的实现是一个基本的框架。当使用到实际中时,一些其他功能也可以在这一基础上添加,比如异常处理,动态调整缓冲池大小等等。


 

作者DaiJiaLin                   

mailto:woodydai@gmail.com

http://blog.csdn.net/DaiJiaLin

Java结果缓存实现(Thread Safe)

使用FutureTask实现:
  • a19881029
  • a19881029
  • 2014年07月10日 15:19
  • 2917

自己做的一个输入输出缓冲池

用C++做的一个输入输出缓冲池,可优化硬盘文件读写的速度,支持多种数据类型。...
  • pdcxs007
  • pdcxs007
  • 2014年05月15日 21:51
  • 1408

浅谈Unity中的缓冲池机制

每当写博文的时候,首先想到的不是该如何写,而是 先注明:大神勿喷,不喜勿喷,欢迎拍砖,而且是狠狠的拍,不狠拍不罢休!!! 嘻嘻。。。ok!!!我们废话不多少了,直接奔入正题。 如题,我们今天就来...
  • qq_22393417
  • qq_22393417
  • 2015年06月02日 11:58
  • 2626

缓冲池

缓冲就是专用于将数据从源转移至目标的内存块 使用缓冲的原因有以下几种情况: 1。数据无法或不允许直接从源转移至目标,使用缓冲做中间媒介; 2。负载的一端需要均匀的数据输送,但是另一端却很不均匀,...
  • WLinyi
  • WLinyi
  • 2016年08月13日 14:57
  • 868

深入理解db2缓冲池bufferpool

无论是CPU芯片,操作系统还是Web服务器等方方面面,都会使用一个非常重要的技术:缓存。CPU和内存之间的高速缓存,内存和外设之间的系统缓存,局域网与外部网络之间的Web缓存服务器。。。这些“缓存”的...
  • pianzif
  • pianzif
  • 2014年05月25日 17:28
  • 1550

java 缓冲池 BufferPool

/** * 缓冲池 */ public class BufferPool { private static final int BUFFER_SIZE = 2 * 1024 * 1024; /...
  • kkgbn
  • kkgbn
  • 2017年02月06日 11:32
  • 995

缓冲池

缓冲池管理着多个缓冲区,每个缓冲区用于标识和管理的缓冲首部以及用于存储数据的缓冲体力部分组成(缓冲池和缓冲区的区别在于缓冲区仅仅是一组内存块的链表,而缓冲池则是包含了一个管理的数据结构及一组操作函数的...
  • l_vaule
  • l_vaule
  • 2015年01月02日 19:32
  • 644

一个简单的Thread缓冲池的实现

在应用中,我们常常需要Thread缓冲池来做一些事以提高程序的效率和并发性。本文演示了如何利用Queue这种数据结构实现一个简单的Thread缓冲池。 一个Thread缓冲池可以设计成以下这样:缓冲池...
  • DaiJiaLin
  • DaiJiaLin
  • 2004年10月17日 13:11
  • 6647

一个简单的 Thread 缓冲池的实现

http://www.pcjx.com/Java/xeji/47233.html 文章来源:ChinaITLab收集整理 作者:佚名 更新时间:2005-10-22        一个Threa...
  • d8111
  • d8111
  • 2015年04月24日 17:51
  • 373

一个简单的Thread缓冲池的实现

 在应用中,我们常常需要Thread缓冲池来做一些事以提高程序的效率和并发性。本文演示了如何利用Queue这种数据结构实现一个简单的Thread缓冲池。 一个Thread缓冲池可以设计成以下这样:缓冲...
  • kjfcpua
  • kjfcpua
  • 2009年11月13日 19:54
  • 489
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:一个简单的Thread缓冲池的实现
举报原因:
原因补充:

(最多只允许输入30个字)