【windows核心编程】IO完成端口(IOCP)复制文件小例

最新推荐文章于 2022-04-02 22:24:12 发布
最新推荐文章于 2022-04-02 22:24:12 发布
阅读量53 收藏
点赞数
原文链接：http://www.cnblogs.com/cuish/p/3857620.html
版权

 

1、演示内容

文件复制

 

2、提要

复制大文件时，使用FILE_FLAG_NO_BUFFERING标志

同时需要注意：

读写文件的偏移地址为 磁盘扇区 的整数倍

读写文件的字节数为 磁盘扇区 的整数倍

读文件到的缓冲区在进程地址空间中的地址为 磁盘扇区 的整数倍

 

3、JUST CODING

 

#include "stdafx.h"
#include <Windows.h>
#include <process.h>
#include <iostream>
using namespace std;

//完成键
#define CK_READ  1
#define CK_WRITE 2

void ShowErrMsg(LPCSTR lpMsg); 

//传给线程函数的参数
typedef struct _tagThreadParam
{
    HANDLE hIOCP;                //IOCP
    LPVOID lpAddr;                //读入的内存地址
    LARGE_INTEGER liFileSize;   //源文件大小
    size_t nDataBlockSize;      //每次读写的数据块大小
    HANDLE hSrc;                //源文件
    HANDLE hDest;                //目的文件
    LPOVERLAPPED lpOLPSrc;      //源文件的OVERLAPPED结构指针
    LPOVERLAPPED lpOLPDest;     //目的文件的OVERLAPPED结构指针
}ThreadParam, *LPTHREADPARAM;

int _tmain(int argc, _TCHAR* argv[])
{
   /*LPCTSTR lpSrc = TEXT("D:\\SourceSoftware\\myeclipse-8.5.0.rar");
      LPCTSTR lpDest = TEXT("D:\\SourceSoftware\\myeclipse-8.5.0_copy.rar");*/ 

    /*LPCTSTR lpSrc = TEXT("D:\\SourceSoftware\\VS2010\\cn_visual_studio_2010_ultimate_x86_dvd_532347.iso");
    LPCTSTR lpDest = TEXT("D:\\SourceSoftware\\VS2010\\cn_visual_studio_2010_ultimate_x86_dvd_532347_copy.iso");*/ 

    /*LPCTSTR lpSrc = TEXT("D:\\SourceSoftware\\SQLServer2008\\cn_sql_server_2008_r2_developer_x86_x64_ia64_dvd_522724.iso");
    LPCTSTR lpDest = TEXT("D:\\SourceSoftware\\SQLServer2008\\cn_sql_server_2008_r2_developer_x86_x64_ia64_dvd_522724_copy.iso");
*/
    /*LPCTSTR lpSrc = TEXT("D:\\SourceSoftware\\SQLServer2008\\cn_sql_server_2008_r2_developer_x86_x64_ia64_dvd_522724.rar");
    LPCTSTR lpDest = TEXT("D:\\SourceSoftware\\SQLServer2008\\cn_sql_server_2008_r2_developer_x86_x64_ia64_dvd_522724_copy.rar");*/

    

      LPCTSTR lpSrc = TEXT("D:\\SourceSoftware\\VS2012旗舰版\\VS2012_ULT_chs.iso");
      LPCTSTR lpDest = TEXT("D:\\SourceSoftware\\VS2012旗舰版\\VS2012_ULT_chs_copy.iso");


    HANDLE hSrcFile = INVALID_HANDLE_VALUE;  //源文件句柄
    HANDLE hDestFile = INVALID_HANDLE_VALUE; //目标文件句柄
    HANDLE hIOCP = NULL;                     //IOCP
    LPVOID lpAddr = NULL;                     //申请内存地址

    __try
    {
        cout << endl << "开始打开源文件" <<endl;
        //源文件
        hSrcFile = CreateFile(
            lpSrc,                                        //源文件
            GENERIC_READ,                                  //读模式
            FILE_SHARE_READ,                              //读共享
            NULL,                                         //安全属性
            OPEN_EXISTING,                                  //必须存在
            FILE_FLAG_OVERLAPPED | FILE_FLAG_NO_BUFFERING,//异步 | 不用缓存
            NULL                                          //文件模板为空
            );
        if(INVALID_HANDLE_VALUE == hSrcFile)
        {
            ShowErrMsg("源文件打开错误");
            return -1;
        }

        cout << endl << "开始打开目的文件" << endl;

        //目的文件
        hDestFile = CreateFile(
            lpDest,                                        //目的文件
            GENERIC_WRITE,                                 //写模式
            0,                                               //独占访问
            NULL,                                           //安全属性
            CREATE_ALWAYS,                                   //总是创建
            FILE_FLAG_OVERLAPPED | FILE_FLAG_NO_BUFFERING, //异步 | 不用缓存
            hSrcFile                                       //文件属性同源文件
            );
        if (INVALID_HANDLE_VALUE == hDestFile)
        {
            ShowErrMsg("目的文件打开错误");
            return -2;
        }

        cout << endl << "开始获取文件尺寸" << endl;
        //源文件尺寸
        LARGE_INTEGER liFileSize;
        BOOL bRet = GetFileSizeEx(hSrcFile, &liFileSize);
        if (FALSE == bRet)
        {
            ShowErrMsg("获取源文件尺寸失败");
            return -3;
        }

        cout << endl << "开始用源文件尺寸设置目的文件大小" << endl;
        
        //设置目的文件指针位置为源文件尺寸 并 设置文件尾
        BOOL bRet2 = SetFilePointerEx(hDestFile, liFileSize, NULL, FILE_BEGIN);
        BOOL bRet3 = SetEndOfFile(hDestFile);
        if (FALSE == bRet2 || FALSE == bRet3)
        {
            ShowErrMsg("设置目的文件尺寸失败");
            return -4;
        }

        cout << endl << "开始获取磁盘扇区大小 和 系统信息" << endl;
        SYSTEM_INFO sysInfo = {0};
        GetSystemInfo(&sysInfo);
        DWORD dwBytesPerSector = 0UL;
        bRet = GetDiskFreeSpace(TEXT("D:"), NULL, &dwBytesPerSector, NULL, NULL);
        if (FALSE == bRet)
        {
            ShowErrMsg("开始获取磁盘扇区大小 错误");
            return -5;
        }


        //读 
        OVERLAPPED ovlpRead;
        ovlpRead.Offset = 0;
        ovlpRead.OffsetHigh = 0;
        ovlpRead.hEvent = NULL;

        //写
        OVERLAPPED ovlpWrite;
        ovlpWrite.Offset = 0;
        ovlpWrite.OffsetHigh = 0;
        ovlpWrite.hEvent = NULL;

        //创建IOCP 并和 文件关联
        hIOCP = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, sysInfo.dwNumberOfProcessors);
        if (NULL == hIOCP)
        {
            DWORD dwErr = GetLastError();
            if (ERROR_ALREADY_EXISTS != dwErr)
            {
                ShowErrMsg("创建IOCP 失败");
                return -6;
            }
        } 

        hIOCP = CreateIoCompletionPort(hSrcFile, hIOCP, CK_READ, sysInfo.dwNumberOfProcessors);
        hIOCP = CreateIoCompletionPort(hDestFile, hIOCP, CK_WRITE, sysInfo.dwNumberOfProcessors);

        //申请扇区大小的5倍的内存
        size_t sizeMAX = dwBytesPerSector * 1024 * 64 * 2; //512K * 64 * 2
        size_t sizeMIN = dwBytesPerSector * 1024 * 64 * 2; 

        //申请内存
        lpAddr = VirtualAlloc(NULL, sizeMAX, MEM_RESERVE | MEM_COMMIT, PAGE_READWRITE);
        if (NULL == lpAddr)
        {
            ShowErrMsg("申请内存错误");
            return -7;                
        }
         
         
        //先往IOCP的完成队列插入一个 写完成 项
        //写0字节
        PostQueuedCompletionStatus(
            hIOCP,     //IOCP
            0,           //GetQueuedCompletionStatus取到的传送字节为0
            CK_WRITE,  //写操作
            &ovlpWrite //写OVERLAPPED
            );


        DWORD dwBytesTrans = 0;                                    //传输字节数
        ULONG_PTR ulCompleteKey = 0;                            //完成键
        LPOVERLAPPED lpOverlapped = NULL;                        //OVERLAPPED结构
        BOOL bLastTime = FALSE;                                    //最后一个读操作
        int i = 0;
        int j = 0;
        int nCountZero = 0;                                        //计数 


        /************************************************************************/
        /* 因为前一次只是往IOCP的完成队列插入了一项【写完成】，而并非真的写
        只是让下面的代码从 【读操作】开始， 
        执行序列为： 读-写， 读-写， ... ，读-写
        当每个【读操作】完成时：把缓冲区中的数据写入【目的文件】，并更新【源文件】的偏移量


        当每个【写操作】完成时：更新【目的文件】的偏移量，
        同时，因为操作序列是写操作在后，因此写操作完成后，根据更新后的【源文件】的偏移量
        和【源文件】大小做比较，如果大于等于源文件大小，则说明这是最后一次读取操作，则当下一次
        写操作完成时 退出循环。 如果当前【源文件偏移量】没有达到【源文件大小】则再次从【源文件】
        中读取数据进缓冲区，
        /************************************************************************/
        while(TRUE)
        {
            BOOL bRet = GetQueuedCompletionStatus(hIOCP, &dwBytesTrans, &ulCompleteKey, &lpOverlapped, INFINITE);
            if (FALSE == bRet)
            {
                DWORD dwErr = GetLastError();
                if (NULL != lpOverlapped)
                {
                    ShowErrMsg("线程函数返回错误， 错误原因:");
                    cout << dwErr <<endl; 
                    break;
                } //if
                else
                {
                    if (ERROR_TIMEOUT == dwErr)
                    {
                        ShowErrMsg("等待超时"); 
                    }
                    else
                    {
                        ShowErrMsg("线程函数返回错误， 错误原因2:");
                        cout << dwErr <<endl; 
                    }

                    continue;  
                } //else  

            } //if

            //读操作完成 
            if (ulCompleteKey == CK_READ)
            { 
                cout << endl << "-------------第 " << ++ i << " 次操作完成，开始写文件 ---------------- "<<endl;
                WriteFile(hDestFile, lpAddr, sizeMIN, NULL, &ovlpWrite);

                //读操作完成 更新 源文件的偏移量
                LARGE_INTEGER liSrcFile; 
                liSrcFile.QuadPart = dwBytesTrans;

                ovlpRead.Offset += liSrcFile.LowPart;
                ovlpRead.OffsetHigh += liSrcFile.HighPart; 
            } //if

            //写操作完成 
            else if (ulCompleteKey == CK_WRITE)
            {
                //写操作完成， 更新目的文件的偏移量
                LARGE_INTEGER liDestFile;  
                liDestFile.QuadPart = dwBytesTrans;  
                ovlpWrite.Offset += liDestFile.LowPart;
                ovlpWrite.OffsetHigh += liDestFile.HighPart;

                //当前源文件的偏移量 
                LARGE_INTEGER liTemp;
                liTemp.LowPart = ovlpRead.Offset;
                liTemp.HighPart = ovlpRead.OffsetHigh;
                //当前文件偏移是超过文件大小
                if (liTemp.QuadPart >= liFileSize.QuadPart)
                {
                    break;
                }  
                cout << endl << "*************第 " << ++ j << " 次读写操作完成，开始读文件 ***************"<<endl;
                ReadFile(hSrcFile, lpAddr, sizeMIN, NULL, &ovlpRead); 
                 
            } //else if 

        } //while

        SetFilePointerEx(hDestFile, liFileSize, NULL, FILE_BEGIN);
        SetEndOfFile(hDestFile);

        cout << endl << " $$$$$$$$$$$$$$$$$$$$$ 操作完成 $$$$$$$$$$$$$$$$$" <<endl; 
         
    }
    __finally
    {
        cout << endl << "清理资源" <<endl;
        if (INVALID_HANDLE_VALUE != hSrcFile)
            CloseHandle(hSrcFile);
        hSrcFile = INVALID_HANDLE_VALUE;

        if(INVALID_HANDLE_VALUE != hDestFile)
            CloseHandle(hDestFile);
        hDestFile = INVALID_HANDLE_VALUE;

        if(NULL != lpAddr)
            VirtualFree(lpAddr, 0, MEM_RELEASE | MEM_DECOMMIT);
        lpAddr = NULL; 
    }
    


    cout << endl << endl;
    return 0;
}




void ShowErrMsg(LPCSTR lpMsg){    cout << endl << "Some error happened : " << lpMsg << "\n"; }

 

 

 

4、细节和问题

  过程中发现：某个文件的复制进入死循环，判断break退出while的条件永远不成立，即【目的文件的偏移量】没有达到【源文件的大小】这一条件，单步过程中发现是如下问题

 

 

另外：关于读写逻辑的问题，一开始是在收到CK_WRITE的时候更新【源文件】偏移量，在收到CK_READ时更新【目的文件】的偏移量，而且发现网上也有这么做的，后来经过折腾发现逻辑有点问题，反过来比较合理，

即 收到CK_WRITE时更新【目的文件偏移量】，收到CK_READ时更新【源文件偏移量】。

 

 

 

 

5、执行结果

 

 

 

 

 

转载于:https://www.cnblogs.com/cuish/p/3857620.html

weixin_30415801
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
《Windows网络编程系列-完成端口IOCP》完整代码及示例
10-24
很好的学习资料，Socket编程、...《手把手叫你玩转网络编程系列之三 完成端口(Completion Port)详解》By PiggyXP 资源包内附文章内容和源码。  原文地址： http://blog.csdn.net/piggyxp/article/details/6922277 ​
【windows核心编程】IO完成端口(IOCP)复制文件小例前简单说明
weixin_38166557的博客
07-21 150
1、关于IOCP IOCP即IO完成端口，是一种高伸缩高效率的异步IO方式，一个设备或文件与一个IO完成端口相关联，当文件或设备的异步IO操作完成的时候，去IO完成端口的【完成队列】取一项，根据完成键(Complete Key)来判断是哪个设备或文件的操作完成，然后再根据实际情况进行处理。 2、相关API 和 数据结构 将一个已完成的IO通知追加到IO...
使用IO完成端口IOCP与线程池创建高性能服务器
Wlk1229
01-21 3829
使用IO完成端口IOCP与线程池创建高性能服务器 在使用socket网络编程，实现一个服务器时，初学者最容易想到方法是当服务器监听的socket接受（accept）到一个客户端时创建一个线程，然后在线程中调用recv函数实时监控客户端是否有数据发送过来。这种方法是可以实现服务器对客户端数据的监听，但是这种方法效率很低，无法支持大量客户端同时连接。这种方法需要对每个连接的客户端创建一个线程，如果有...
【Windows网络编程】完成端口IOCP介绍（超详细）
AG的博客
10-19 8874
这篇文档我非常详细并且图文并茂的介绍了关于网络编程模型中完成端口的方方面面的信息，从API的用法到使用的步骤，从完成端口的实现机理到实际使用的注意事项，都有所涉及，并且为了让朋友们更直观的体会完成端口的用法，本文附带了有详尽注释的使用MFC编写的图形界面的示例代码。         我的初衷是希望写一份互联网上能找到的最详尽的关于完成端口的教学文档，而且让对Socket编程略有了解的人都能够
Windows socket之IO完成端口（IOCP）模型开发
善战者无赫赫之功 的专栏
07-19 748
转载自：http://blog.csdn.net/ithzhang/article/details/8525306Windows socket之IO完成端口（IOCP）模型开发IO完成端口是一种内核对象。利用完成端口，套接字应用程序能够管理数百上千个套接字。应用程序创建完成端口对象后，通过指定一定数量的服务线程，为已经完成的重叠IO操作提供服务。该模型可以达到最后的系统性能。完成端口是一种真正意义上
linux socket完成端口,[C++]Windows socket之IO完成端口（IOCP）模型开发 1
weixin_39894233的博客
04-30 265
IO完成端口與WASSocket結合使用時，發送與接收數據不能再使用Send與Recv，而需要使用WSASend與WSARecv。或者使用WriteFile與ReadFile。(PSWriteFileEx與ReadFileEx亦不可以)WSASend覆盖标准的send函数，并在下面两个方面有所增强：>它可以用于overlappedsocket(重叠socket)上以进行重叠发送的操作(简单地...
求助 完成端口IOCP 编程中 内存上升 问题
yuchenliu的博客
11-22 508
最近在项目中使用了IOCP完成端口来实现TCP服务端，发现运行过程中内存持续上升。 实际测试中我只连了一个客户端，每秒发一次数据，大约30左右字符。 请求CSDN高手指点： 代码从网上找的，感觉比较经典，就用了： 附件是IOCP源码，对IOCP的使用介绍的比较好，数据结构设计的比较巧妙，我反复看过也没发现内存泄漏的地方， VS编译器调试结束也没发现memory leak提示. 备注：客...
windows Socket编程之完成端口模型
Timmiy的博客
08-17 2308
上篇介绍了重叠IO模型，它已经把我们的等待数据到来和拷贝数据到我们程序的缓冲区这个时间全部交给了操作系统去完成了，它已经很完善了。但是，如果我们想要把服务端的性能做的更好一点的话，它还是有点不足的，比如说，重叠IO它只有一个工作者线程在工作，要想获得更高的效率，我们应该增加一些线程。而且，重叠IO它只能同时进行64个客户端的数据收发，这也是一个很大的问题。为此，就产生了完成端口模型，它就解决了这些
IOCP完成端口通俗讲义与项目实战
jaye8090的博客
04-02 2546
可以把IOCP完成端口理解为Windows下性能最高的网络编程技术，本文讲解该技术的基本知识，以及如何使用该技术开发高性能的网络软件。 IOCP完成端口本质上就是Windows提供的一种请求队列+通知队列，我们把各种耗时的网络操作请求投递到请求队列，系统具体怎么去完成这些网络操作我们不管，系统完成后会把结果放到通知队列里，我们就去通知队列里获取结果然后处理。............................................................................
Windows服务器高并发处理IOCP（完成端口）详细说明
工作随笔
11-07 1419
Windows服务器高并发处理IOCP（完成端口）详细说明         这篇文档我非常详细并且图文并茂的介绍了关于网络编程模型中完成端口的方方面面的信息，从AP
IOcp.rar_ iocp-server_IOCP_IOCP 文件_io_完成端口
09-24
IO完成端口文件读写操作\IO完成端口文件读写操作
完成端口（IOCP) 服务器源码
06-09
Windows下IOCP模型 socket服务器端实例 1. 创建服务器socket， 并将socket设置为非阻塞模式 2. bind()绑定IP地此与端口 3. listen() 4. 创建IO完成端口，将socket绑定到IO完成端口上 5. 根据当前机器CPU个数创建工作...
windows socket网络编程之iocp完成端口模型的例子
04-17
windows socket网络编程之iocp完成端口模型的例子
IO_Port.rar_IO port_IOCP_io完成端口_port io_完成端口
09-20
一个很好用的完成端口类，效率超高。欢迎下载。
基于springboot+vue+MySQL实现的在线考试系统+源代码+文档
06-01
web期末作业设计网页 基于springboot+vue+MySQL实现的在线考试系统+源代码+文档
318_面向物联网机器视觉的目标跟踪方法设计与实现的详细信息-源码.zip
06-02
提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域，每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写，确保了在对应环境下能够无缝运行。同时，源码中配备了详细的注释和文档，帮助用户快速理解代码结构和实现逻辑。 适用人群： 这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生，还是对其他领域编程感兴趣的学生，这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码，你可以掌握各平台开发的基础知识，提升编程能力和项目实战经验。 使用场景及目标： 在学习阶段，你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码，你将深入了解各平台开发的技术细节和最佳实践，逐步培养起自己的项目开发和问题解决能力。此外，在求职或创业过程中，具备跨平台开发能力的大学生将更具竞争力。 其他说明： 为了确保源码资源的可运行性和易用性，特别注意了以下几点：首先，每份源码都提供了详细的运行环境和依赖说明，确保用户能够轻松搭建起开发环境；其次，源码中的注释和文档都非常完善，方便用户快速上手和理解代码；最后，我会定期更新这些源码资源，以适应各平台技术的最新发展和市场需求。
FPGA Verilog 计算信号频率，基础时钟100Mhz，通过锁相环ip核生成200Mhz检测时钟，误差在10ns
06-02
结合等精度测量原理和原理示意图可得：被测时钟信号的时钟频率fx的相对误差与被测时钟信号无关；增大“软件闸门”的有效范围或者提高“标准时钟信号”的时钟频率fs，可以减小误差，提高测量精度。 实际闸门下被测时钟信号周期数为X，设被测信号时钟周期为Tfx，它的时钟频率fx = 1/Tfx，由此可得等式：X * Tfx = X / fx = Tx(实际闸门)。 其次，将两等式结合得到只包含各自时钟周期计数和时钟频率的等式：X / fx = Y / fs = Tx(实际闸门)，等式变换，得到被测时钟信号时钟频率计算公式：fx = X * fs / Y。 最后，将已知量标准时钟信号时钟频率fs和测量量X、Y带入计算公式，得到被测时钟信号时钟频率fx。
校园二手商品交易系统三.wmv
最新发布
06-02
校园二手商品交易系统三.wmv
io完成端口是性能最高的网络模型吗
06-08
IO完成端口（IO Completion Ports，简称IOCP）是 Windows 平台上一种高效的网络编程模型，可以实现高并发、高吞吐量的网络通信。与传统的网络编程模型相比，IOCP 可以更好地利用系统资源，减少线程切换和上下文切换...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值