秒杀多线程第十篇 生产者消费者问题

继经典线程同步问题之后,我们来看看生产者消费者问题及读者写者问题。生产者消费者问题是一个著名的线程同步问题,该问题描述如下:有一个生产者在生产产品,这些产品将提供给若干个消费者去消费,为了使生产者和消费者能并发执行,在两者之间设置一个具有多个缓冲区的缓冲池,生产者将它生产的产品放入一个缓冲区中,消费者可以从缓冲区中取走产品进行消费,显然生产者和消费者之间必须保持同步,即不允许消费者到一个空的缓冲区中取产品,也不允许生产者向一个已经放入产品的缓冲区中再次投放产品。


    这个生产者消费者题目不仅常用于操作系统的课程设计,也常常在程序员和软件设计师考试中出现。并且在计算机考研的专业课考试中也是一个非常热门的问题。因此现在就针对这个问题进行详细深入的解答。


 


    首先来简化问题,先假设生产者和消费者都只有一个,且缓冲区也只有一个。这样情况就简便多了。


    第一.从缓冲区取出产品和向缓冲区投放产品必须是互斥进行的。可以用关键段和互斥量来完成。


    第二.生产者要等待缓冲区为空,这样才可以投放产品,消费者要等待缓冲区不为空,这样才可以取出产品进行消费。并且由于有二个等待过程,所以要用二个事件或信号量来控制。


    考虑这二点后,代码很容易写出来。另外为了美观起见,将消费者的输出颜色设置为彩色,有关如何在控制台下设置彩色输出请参阅《VC 控制台颜色设置》。


[cpp] view plain copy
//1生产者 1消费者 1缓冲区  
//使用二个事件,一个表示缓冲区空,一个表示缓冲区满。  
//再使用一个关键段来控制缓冲区的访问  
#include <stdio.h>  
#include <process.h>  
#include <windows.h>  
//设置控制台输出颜色  
BOOL SetConsoleColor(WORD wAttributes)  
{  
    HANDLE hConsole = GetStdHandle(STD_OUTPUT_HANDLE);  
    if (hConsole == INVALID_HANDLE_VALUE)  
        return FALSE;     
    return SetConsoleTextAttribute(hConsole, wAttributes);  
}  
const int END_PRODUCE_NUMBER = 10;   //生产产品个数  
int g_Buffer;                        //缓冲区  
//事件与关键段  
CRITICAL_SECTION g_cs;  
HANDLE g_hEventBufferEmpty, g_hEventBufferFull;  
//生产者线程函数  
unsigned int __stdcall ProducerThreadFun(PVOID pM)  
{  
    for (int i = 1; i <= END_PRODUCE_NUMBER; i++)  
    {  
        //等待缓冲区为空  
        WaitForSingleObject(g_hEventBufferEmpty, INFINITE);  
  
        //互斥的访问缓冲区  
        EnterCriticalSection(&g_cs);  
        g_Buffer = i;  
        printf("生产者将数据%d放入缓冲区\n", i);  
        LeaveCriticalSection(&g_cs);  
          
        //通知缓冲区有新数据了  
        SetEvent(g_hEventBufferFull);  
    }  
    return 0;  
}  
//消费者线程函数  
unsigned int __stdcall ConsumerThreadFun(PVOID pM)  
{  
    volatile bool flag = true;  
    while (flag)  
    {  
        //等待缓冲区中有数据  
        WaitForSingleObject(g_hEventBufferFull, INFINITE);  
          
        //互斥的访问缓冲区  
        EnterCriticalSection(&g_cs);  
        SetConsoleColor(FOREGROUND_GREEN);  
        printf("  消费者从缓冲区中取数据%d\n", g_Buffer);  
        SetConsoleColor(FOREGROUND_RED | FOREGROUND_GREEN | FOREGROUND_BLUE);  
        if (g_Buffer == END_PRODUCE_NUMBER)  
            flag = false;  
        LeaveCriticalSection(&g_cs);  
          
        //通知缓冲区已为空  
        SetEvent(g_hEventBufferEmpty);  
  
        Sleep(10); //some other work should to do  
    }  
    return 0;  
}  
int main()  
{  
    printf("  生产者消费者问题   1生产者 1消费者 1缓冲区\n");  
    printf(" -- by MoreWindows( http://blog.csdn.net/MoreWindows ) --\n\n");  
  
    InitializeCriticalSection(&g_cs);  
    //创建二个自动复位事件,一个表示缓冲区是否为空,另一个表示缓冲区是否已经处理  
    g_hEventBufferEmpty = CreateEvent(NULL, FALSE, TRUE, NULL);  
    g_hEventBufferFull = CreateEvent(NULL, FALSE, FALSE, NULL);  
      
    const int THREADNUM = 2;  
    HANDLE hThread[THREADNUM];  
      
    hThread[0] = (HANDLE)_beginthreadex(NULL, 0, ProducerThreadFun, NULL, 0, NULL);  
    hThread[1] = (HANDLE)_beginthreadex(NULL, 0, ConsumerThreadFun, NULL, 0, NULL);  
    WaitForMultipleObjects(THREADNUM, hThread, TRUE, INFINITE);  
    CloseHandle(hThread[0]);  
    CloseHandle(hThread[1]);  
      
    //销毁事件和关键段  
    CloseHandle(g_hEventBufferEmpty);  
    CloseHandle(g_hEventBufferFull);  
    DeleteCriticalSection(&g_cs);  
    return 0;  
}  
运行结果如下所示:






可以看出生产者与消费者已经是有序的工作了。


 


    然后再对这个简单生产者消费者问题加大难度。将消费者改成2个,缓冲池改成拥有4个缓冲区的大缓冲池。


    如何来思考了这个问题了?首先根据上面分析的二点,可以知道生产者和消费者由一个变成多个的影响不大,唯一要注意的是缓冲池变大了,回顾一下《秒杀多线程第八篇 经典线程同步 信号量Semaphore》中的信号量,不难得出用二个信号量就可以解决这种缓冲池有多个缓冲区的情况——用一个信号量A来记录为空的缓冲区个数,另一个信号量B记录非空的缓冲区个数,然后生产者等待信号量A,消费者等待信号量B就可以了。因此可以仿照上面的代码来实现复杂生产者消费者问题,示例代码如下:


[cpp] view plain copy
//1生产者 2消费者 4缓冲区  
#include <stdio.h>  
#include <process.h>  
#include <windows.h>  
//设置控制台输出颜色  
BOOL SetConsoleColor(WORD wAttributes)  
{  
    HANDLE hConsole = GetStdHandle(STD_OUTPUT_HANDLE);  
    if (hConsole == INVALID_HANDLE_VALUE)  
        return FALSE;  
      
    return SetConsoleTextAttribute(hConsole, wAttributes);  
}  
const int END_PRODUCE_NUMBER = 8;  //生产产品个数  
const int BUFFER_SIZE = 4;          //缓冲区个数  
int g_Buffer[BUFFER_SIZE];          //缓冲池  
int g_i, g_j;  
//信号量与关键段  
CRITICAL_SECTION g_cs;  
HANDLE g_hSemaphoreBufferEmpty, g_hSemaphoreBufferFull;  
//生产者线程函数  
unsigned int __stdcall ProducerThreadFun(PVOID pM)  
{  
    for (int i = 1; i <= END_PRODUCE_NUMBER; i++)  
    {  
        //等待有空的缓冲区出现  
        WaitForSingleObject(g_hSemaphoreBufferEmpty, INFINITE);  
  
        //互斥的访问缓冲区  
        EnterCriticalSection(&g_cs);  
        g_Buffer[g_i] = i;  
        printf("生产者在缓冲池第%d个缓冲区中投放数据%d\n", g_i, g_Buffer[g_i]);  
        g_i = (g_i + 1) % BUFFER_SIZE;  
        LeaveCriticalSection(&g_cs);  
  
        //通知消费者有新数据了  
        ReleaseSemaphore(g_hSemaphoreBufferFull, 1, NULL);  
    }  
    printf("生产者完成任务,线程结束运行\n");  
    return 0;  
}  
//消费者线程函数  
unsigned int __stdcall ConsumerThreadFun(PVOID pM)  
{  
    while (true)  
    {  
        //等待非空的缓冲区出现  
        WaitForSingleObject(g_hSemaphoreBufferFull, INFINITE);  
          
        //互斥的访问缓冲区  
        EnterCriticalSection(&g_cs);  
        SetConsoleColor(FOREGROUND_GREEN);  
        printf("  编号为%d的消费者从缓冲池中第%d个缓冲区取出数据%d\n", GetCurrentThreadId(), g_j, g_Buffer[g_j]);  
        SetConsoleColor(FOREGROUND_RED | FOREGROUND_GREEN | FOREGROUND_BLUE);  
        if (g_Buffer[g_j] == END_PRODUCE_NUMBER)//结束标志  
        {  
            LeaveCriticalSection(&g_cs);  
            //通知其它消费者有新数据了(结束标志)  
            ReleaseSemaphore(g_hSemaphoreBufferFull, 1, NULL);  
            break;  
        }  
        g_j = (g_j + 1) % BUFFER_SIZE;  
        LeaveCriticalSection(&g_cs);  
  
        Sleep(50); //some other work to do  
  
        ReleaseSemaphore(g_hSemaphoreBufferEmpty, 1, NULL);  
    }  
    SetConsoleColor(FOREGROUND_GREEN);  
    printf("  编号为%d的消费者收到通知,线程结束运行\n", GetCurrentThreadId());  
    SetConsoleColor(FOREGROUND_RED | FOREGROUND_GREEN | FOREGROUND_BLUE);  
    return 0;  
}  
int main()  
{  
    printf("  生产者消费者问题   1生产者 2消费者 4缓冲区\n");  
    printf(" -- by MoreWindows( http://blog.csdn.net/MoreWindows ) --\n\n");  
  
    InitializeCriticalSection(&g_cs);  
    //初始化信号量,一个记录有产品的缓冲区个数,另一个记录空缓冲区个数.  
    g_hSemaphoreBufferEmpty = CreateSemaphore(NULL, 4, 4, NULL);  
    g_hSemaphoreBufferFull  = CreateSemaphore(NULL, 0, 4, NULL);  
    g_i = 0;  
    g_j = 0;  
    memset(g_Buffer, 0, sizeof(g_Buffer));  
  
    const int THREADNUM = 3;  
    HANDLE hThread[THREADNUM];  
    //生产者线程  
    hThread[0] = (HANDLE)_beginthreadex(NULL, 0, ProducerThreadFun, NULL, 0, NULL);  
    //消费者线程  
    hThread[1] = (HANDLE)_beginthreadex(NULL, 0, ConsumerThreadFun, NULL, 0, NULL);  
    hThread[2] = (HANDLE)_beginthreadex(NULL, 0, ConsumerThreadFun, NULL, 0, NULL);  
    WaitForMultipleObjects(THREADNUM, hThread, TRUE, INFINITE);  
    for (int i = 0; i < THREADNUM; i++)  
        CloseHandle(hThread[i]);  
  
    //销毁信号量和关键段  
    CloseHandle(g_hSemaphoreBufferEmpty);  
    CloseHandle(g_hSemaphoreBufferFull);  
    DeleteCriticalSection(&g_cs);  
    return 0;  
}  
运行结果如下图所示:





输出结果证明各线程的同步和互斥已经完成了。


 


至此,生产者消费者问题已经圆满的解决了,下面作个总结:


1.首先要考虑生产者与消费者对缓冲区操作时的互斥。


2.不管生产者与消费者有多少个,缓冲池有多少个缓冲区。都只有二个同步过程——分别是生产者要等待有空缓冲区才能投放产品,消费者要等待有非空缓冲区才能去取产品。


 


下一篇《秒杀多线程第十一篇读者写者问题》将介绍另一个著名的同步问题——读者写者问题,欢迎大家再来参阅。


 


转载请标明出处,原文地址:http://blog.csdn.net/morewindows/article/details/7577591


如果觉得本文对您有帮助,请点击‘顶’支持一下,您的支持是我写作最大的动力,谢谢。
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于YOLOv9实现工业布匹缺陷(破洞、污渍)检测系统python源码+详细运行教程+训练好的模型+评估 【使用教程】 一、环境配置 1、建议下载anaconda和pycharm 在anaconda中配置好环境,然后直接导入到pycharm中,在pycharm中运行项目 anaconda和pycharm安装及环境配置参考网上博客,有很多博主介绍 2、在anacodna中安装requirements.txt中的软件包 命令为:pip install -r requirements.txt 或者改成清华源后再执行以上命令,这样安装要快一些 软件包都安装成功后才算成功 3、安装好软件包后,把anaconda中对应的python导入到pycharm中即可(不难,参考网上博客) 二、环境配置好后,开始训练(也可以训练自己数据集) 1、数据集准备 需要准备yolo格式的目标检测数据集,如果不清楚yolo数据集格式,或者有其他数据训练需求,请看博主yolo格式各种数据集集合链接:https://blog.csdn.net/DeepLearning_/article/details/127276492 里面涵盖了上百种yolo数据集,且在不断更新,基本都是实际项目使用。来自于网上收集、实际场景采集制作等,自己使用labelimg标注工具标注的。数据集质量绝对有保证! 本项目所使用的数据集,见csdn该资源下载页面中的介绍栏,里面有对应的下载链接,下载后可直接使用。 2、数据准备好,开始修改配置文件 参考代码中data文件夹下的banana_ripe.yaml,可以自己新建一个不同名称的yaml文件 train:训练集的图片路径 val:验证集的图片路径 names: 0: very-ripe 类别1 1: immature 类别2 2: mid-ripe 类别3 格式按照banana_ripe.yaml照葫芦画瓢就行,不需要过多参考网上的 3、修改train_dual.py中的配置参数,开始训练模型 方式一: 修改点: a.--weights参数,填入'yolov9-s.pt',博主训练的是yolov9-s,根据自己需求可自定义 b.--cfg参数,填入 models/detect/yolov9-c.yaml c.--data参数,填入data/banana_ripe.yaml,可自定义自己的yaml路径 d.--hyp参数,填入hyp.scratch-high.yaml e.--epochs参数,填入100或者200都行,根据自己的数据集可改 f.--batch-size参数,根据自己的电脑性能(显存大小)自定义修改 g.--device参数,一张显卡的话,就填0。没显卡,使用cpu训练,就填cpu h.--close-mosaic参数,填入15 以上修改好,直接pycharm中运行train_dual.py开始训练 方式二: 命令行方式,在pycharm中的终端窗口输入如下命令,可根据自己情况修改参数 官方示例:python train_dual.py --workers 8 --device 0 --batch 16 --data data/coco.yaml --img 640 --cfg models/detect/yolov9-c.yaml --weights '' --name yolov9-c --hyp hyp.scratch-high.yaml --min-items 0 --epochs 500 --close-mosaic 15 训练完会在runs/train文件下生成对应的训练文件及模型,后续测试可以拿来用。 三、测试 1、训练完,测试 修改detect_dual.py中的参数 --weights,改成上面训练得到的best.pt对应的路径 --source,需要测试的数据图片存放的位置,代码中的test_imgs --conf-thres,置信度阈值,自定义修改 --iou-thres,iou阈值,自定义修改 其他默认即可 pycharm中运行detect_dual.py 在runs/detect文件夹下存放检测结果图片或者视频 【特别说明】 *项目内容完全原创,请勿对项目进行外传,或者进行违法等商业行为! 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值