生产者/消费者问题是并发处理中遇到的最常见的问题,通常可描述如下:有一个或多个生产者生产某种类型的数据(记录,字符),并放置在缓冲区中;有一个消费者从缓冲区中取数据,每次取一项;系统保证避免对缓冲区的重复操作,也就是说,在任何时候只有一个主体(生产者或消费者)可以访问缓冲区。问题是要确保这样的情况,当缓冲区已满时,生产者不会继续向其中添加数据;当缓冲区为空时,消费者不会从中移走数据。
假设缓冲区是无限的,并且是一个线性的元素数组。用抽象的术语,可以定义如下的生产者消费者函数:
producer:
while (true)
{
/* producer item v*/
b[in] = v;
in++;
}
consumer:
while (true)
{
while (in < out)
{
//do nothing
w = b[out];
out++;
//consume item w
}
}
生产者可以按照自己的步调产生项目并保存在缓冲区中。每次缓冲区中的索引(in)增加1.消费者以类似方法继续,但必须确保它不会从空的缓冲区中读取数据,因此,消费者在开始进行之前应该确保生产者已经生产(in<out)。
(无限缓冲区)
如图是缓冲区b的结构,阴影部分表示已被占用的缓冲区。
通常情况下缓冲区是有限的,缓冲区被看作是一个循环存储器,指针值必须表示为按缓冲区的大小取模,并总保持以下关系:
生产者消费者函数可以表示成如下形式(变量in和out初始化为0,n代表缓冲区的大小)
producer:
while (true)
{
/* producer item v*/
while ((in + 1)&n == out)
{
//do nothing
b[in] = v;
in = (in + 1)&n;
}
}
consumer:
while (true)
{
while (in < out)
{
//do nothing
w = b[out];
out = (out + 1)&n;
//consume item w
}
}
应用场景:
1.用于并发线程,和线程中的队列缓冲区类似,线程中的唤醒缓冲区也要考虑线程安全的问题。除非使用的环形缓冲区的库已经实现了线程安全。对于c++可以使用boost提供的circular_buffer模板,在boost1.35中引用。
2.用于并发进程, 适用于进程间环形缓冲的ipc类型,常见的有共享内存和文件,采用数组的方式实现。共享内存方式性能很好,适用于数据流量大的场景,但有些语言(java)不支持。几乎所有编程语言都支持操作文件,但它很可能受限于磁盘读写的性能,所以文件方式不适合快速数据传输。