【编程之美】双线程高效下载

一，题目

        网络上下载数据，然后存储到硬盘上。简单做法是：先下载一块然后写到硬盘，然后再下载，再写到硬盘上。

        缺点：需要先下载完才能写入硬盘，下载和写是串行操作。

        改进：让两个线程并行进行，设置缓冲区，采用信号量的形式。

                    下载线程，只要缓冲区有空余就下载，下载完成之后告诉写线程缓冲区有数据了。

                     写线程，只要缓冲区有数据就写入，写完后告诉下载线程缓冲区有空闲了。

        

二，核心源码

 //downloads a block from Internet sequentially in each call
 //return true, if the entire file is downloaded, otherwise false.
 bool GetBlockFromNet(Block* out_block);
 
 //writes a block to hard disk
 bool WriteBlockToDisk(Block* in_block);
 
 class Thread
 {
 public:
     Thread(void (*work_func)());
     ~Thread();
     void Start();
     void Abort();
 };
 
 class Semaphore
 {
 public:
     Semaphore(int count,int max_count);
     ~Semaphore();
     void Unsignal();
     void Signal();
 };
 
 class Mutex
 {
 public:
     WaitMutex();
     ReleaseMutex();
 };
 //----------------------------------------------------
 
 
 
 //1.确定使用信号量，而非互斥量，保证并行操作
 //2.当缓冲区并不满并且下载没结束时，下载线程运行
 //3.当缓冲区并不空并且下载没结束时，存储线程运行
 
 
 #define MAX_COUNT 1000
 Block g_Buffer[MAX_COUNT]; //缓冲区数组，模拟循环队列
 Thread g_Download(ProcA);
 Thread g_Write(ProcB);
 
 //一开始缓冲区空间为MAX_COUNT，整个缓冲区可供下载的数据填充
 Semaphore ForDownload(MAX_COUNT,MAX_COUNT);
 //一开始缓冲区无数据可供存储
 Semaphore ForWrite(0,MAX_COUNT);
 
 //下载任务是否完成
 bool isDone;
 //下载的数据从缓冲区的哪个地方开始填充
 int in_index;
 //存储的数据从缓冲区的哪个地方开始提取
 int out_index;
 
 void ProcA()//下载线程 
 {
     while(true)
     {
         //首先取得一个空闲空间，以便下载数据填充
         ForDownload.Unsignal();
         //填充
         isDone=GetBlockFromNet(g_Buffer+in_index);
         //更新索引
         in_index=(in_index+1)%MAX_COUNT;
         //提示存储线程可以工作
         ForWrite.Signal();
     
         //当任务全部下载完成，进程就可以结束了
         if(isDone)
               break;
     }
 }
 
 void ProcB()//写入线程 
 {
     while(true)
     {
         //查询时候有数据可供存储
         ForWrite.Unsignal();
         //存储
         WriteBlockToDisk(g_Buffer+out_index);
         //更新索引
         out_index=(out_index+1)%MAX_COUNT;
         //将空闲空间还给缓冲区
         ForDownload.Signal();
     
         //当任务全部下载完成，并且所有的数据都存储到硬盘中，进程才可以结束
         if(isDone&&in_index==out_index)
             break;
     }
 }
 
 int main()
 {
     isDone=false;
     in_index=0;
     out_index=0;
     g_Download.Start();
     g_Write.Start();
 }