生产者和消费者模型详解

目录

 

生产者和消费者模型

用处

学习旅程

如何实现

---

生产者和消费者模型

参考https://blog.csdn.net/xiaochendefendoushi/article/details/81160260

产生数据的模块，就形象地称为生产者；而处理数据的模块，就称为消费者；生产者和消费者之间的中介就叫做缓冲区。

 

用处

生产者消费者模式就是通过一个容器来解决生产者和消费者的强耦合问题。生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。这个阻塞队列就是用来给生产者和消费者解耦的。

在线程世界里，生产者就是生产数据的线程，消费者就是消费数据的线程。在多线程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这种生产消费能力不均衡的问题，所以便有了生产者和消费者模式。

优点：

1、解耦，即降低生产者和消费者之间的依赖关系。

例如上述写信的例子，如果不使用邮筒（也就是缓区），你必须得把信直接交给邮递员。有同学会说，直接给邮递员不是挺简单的嘛？其实不简单，你必须得认识谁是邮递员，才能把信给他（光凭身上穿的制服，万一有人假冒，就惨了 ）。这就产生和你和邮递员之间的依赖（相当于生产者和消费者的强耦合）。万一哪天邮递员换人了，你还要重新认识一下（相当于消费者变化导致修改生产者代码）。而邮筒相对来说比较固定，你依赖它的成本就比较低（相当于和缓冲区之间的弱耦合）。

2、支持并发，即生产者和消费者可以是两个独立的并发主体，互不干扰的运行。

从寄信的例子来看。如果没有邮筒，你得拿着信傻站在路口等邮递员过来收（相当于生产者阻塞）；又或者邮递员得挨家挨户问，谁要寄信（相当于消费者轮询）。不管是哪种方法，效率都比较低。

3、支持忙闲不均，如果制造数据的速度时快时慢，缓冲区可以对其进行适当缓冲。当数据制造快的时候，消费者来不及处理，未处理的数据可以暂时存在缓冲区中。等生产者的制造速度慢下来，消费者再慢慢处理掉。

为了充分复用，我们再拿寄信的例子来说事。假设邮递员一次只能带走1000封信。万一某次碰上情人节（也可能是圣诞节）送贺卡，需要寄出去的信超过1000封，这时候邮筒这个缓冲区就派上用场了。邮递员把来不及带走的信暂存在邮筒中，等下次过来时再拿走。

 

学习旅程

1、确定数据单元

★啥是数据单元

向缓冲区拿放数据的一个基本数据单元。简单地说，每次生产者放到缓冲区的，就是一个数据单元；每次消费者从缓冲区取出的，也是一个数据单元。

★数据单元的特性

◇关联到业务对象：数据单元必须关联到某种业务对象

◇完整性：保证每一个数据单元的完整

◇独立性：各个数据单元之间没有互相依赖

◇颗粒度：业务对象和数据单元之间的对应比例

 

2、学习队列缓冲区

★进程方式

◇匿名管道：生产者进程在管道的写端放入数据；消费者进程在管道的读端取出数据。

好处： 1》跨平台发方便。 2》跨语言方便。 3》有利于降低开发、调试成本。

不足： 1》生产者进程和消费者进程必须得在同一台主机上，无法跨机器通讯。

２》只适用于一对一通信。 ４》只能单向通信。

３》在某些情况下，程序不便于对管道进行操纵（比如调整管道缓冲区尺寸）。

◇SOCKET（TCP方式）：类似IPC方式，同样保证了数据的顺序到达；同样有缓冲的机制。

优点： 1》可以跨机器（便于实现分布式）。 2》便于将来扩展成为多对一或者一对多。

3》可设置阻塞和非阻塞方法，用起来比较灵活。 4》支持双向通讯，利于消费者反馈信息。

不足： 1》编程复杂。

2》虽然TCP在很多方面比UDP可靠，但鉴于跨机器通讯先天的不可预料性，可以在生产者进程和消费者进程内部各自再引入基于线程的”生产者／消费者模式”。

★线程方式

◇内存分配的性能：内存分配的开销问题—->环形缓冲区

◇同步和互斥的性能：例如信号量、互斥量等的开销—->双缓冲区

◇适用于队列的场合：适用于数据流量不是很大的场合

参考：https://blog.csdn.net/liuxiao723846/article/details/80436246

1. 队列缓冲区

在线程方式下，生产者和消费者各自是一个线程。生产者把数据写入队列头（以下简称 push），消费者从队列尾部读出数据（以下简称 pop）。当队列为空，消费者就稍息（稍事休息）；当队列满（达到最大长度），生产者就稍息。

队列缓冲区在push的时候，可能会分配存储空间用于存储新元素；在pop时，可能会释放废弃元素的存储空间。

2. 环形缓冲区

环形缓冲区所有的push和pop操作都是在一个固定的存储空间内进行。环形方式相比队列方式，少掉了对于缓冲区元素所用存储空间的分配、释放。这是其一个主要优势。

★环形缓冲区的实现

◇数组方式 和链表方式

◇读写操作

◇判断“空”和“满”

★应用场合

◇用于并发线程

◇用于并发进程

3. 双buffer

所谓“双缓冲区”，故名思义就是要有俩缓冲区（简称 A 和 B）。这俩缓冲区，总是一个用于生产者，另一个用于消费者。当俩缓冲区都操作完，再进行一次切换（先前被生产者写入的转为消费者读出，先前消费者读取的转为生产者写入）。由于生产者和消费者不会同时操作同一个缓冲区（不发生冲突），所以就不需要在读写每一个数据单元的时候都进行同步/互斥操作。（空间换时间的优化思路）

但是光有俩缓冲区还不够。为了真正做到“不冲突”，还得再搞两个互斥锁（简称 La 和 Lb），分别对应俩缓冲区。生产者或消费者如果要操作某个缓冲区，必须先拥有对应的互斥锁。生产者或消费者在操作完当前的缓冲区之后，必须先释放当前缓冲区的锁，再去获取另一个缓冲区的锁，以避免死锁。

 

如何实现

https://www.jianshu.com/p/58927d860d97

1. 采用 wait—notify 方式实现生产者消费者模型（注意这里需要加同步锁 synchronized）
2. 采用 阻塞队列 方式实现生产者消费者模式

当队列为空时，从队列获取元素的操作将会被阻塞，直到队列中被放入了元素；当队列满时，往队列里存放元素的操作也会被阻塞，直到有元素被从队列中取出(以上的操作都是基于不同的线程来说的，线程在对阻塞队列进程操作时会被阻塞)。阻塞队列是线程安全的。

例子：https://blog.csdn.net/lvxin15353715790/article/details/89143121