用内存映射文件读取大型文件

最新推荐文章于 2024-08-10 18:26:45 发布

boluo1982107

最新推荐文章于 2024-08-10 18:26:45 发布

阅读量3.6k

点赞数

分类专栏： Code 文章标签： null file access system google api

本文链接：https://blog.csdn.net/boluo1982107/article/details/2464607

版权

Code 专栏收录该内容

33 篇文章 0 订阅

订阅专栏

引言

通常情况下，我们使用文件读写函数对文件进行处理，比如Win32 API 的CreateFile()、WriteFile()、ReadFile()等。

但是对于某些特殊应用领域，需要几十GB、几百GB的海量存储，常规处理方法显然行不通了，目前对于这种大文件的操作一般是以内存映射的方式来加以处理的。

CreateFile()：用来创建一个读文件的句柄；

CreateFileMapping()：创建一个文件映射对象；

MapViewOfFile(): 获得文件第一个字节的指针，通过该指针可以得到文件中的全部内容；

最后，CloseHandle()关闭文件对象和文件映射对象；

UnmapViewOfFile()：用来释放文件数据映射。

实践

在书上看了几个例子，虽然对小型文件访问成功，但是对于大型文件就不行了——出错，可见作者也没有真正将“访问大型文件”的优势，在代码中体现出来——如果仅仅是读取小文件、几个字节，我何必使用文件映射这么麻烦的手段呢？

不过好在天无绝人之路，一边自己尝试、一边google相关的资料，终于解决了大型文件访问的问题；我映射了一个2GB的ghost文件，成功......

在此感谢：http://tech.ccidnet.com/art/1081/20060410/501669_1.html (搜索：MapViewOfFile、大型文件映射、映射文件、代码，找到这篇文章，其中部分文字描述与书上雷同)

SYSTEM_INFO sinf;
GetSystemInfo(&sinf);
DWORD dwAllocationGranularity = sinf.dwAllocationGranularity;
// 创建文件内核对象，其句柄保存于hFile
HANDLE hFile = CreateFile("d://sys.GHO",
GENERIC_WRITE | GENERIC_READ,
FILE_SHARE_READ, 
NULL,
CREATE_ALWAYS, 
FILE_FLAG_SEQUENTIAL_SCAN, 
NULL);
// 创建文件映射内核对象，句柄保存于hFileMapping
HANDLE hFileMapping = CreateFileMapping(hFile,NULL,PAGE_READWRITE, 
0, 0x4000000, NULL);
// 释放文件内核对象
CloseHandle(hFile);
// 设定大小、偏移量等参数
__int64 qwFileSize = 0x4000000;
__int64 qwFileOffset = 0;
__int64 T = 600 * sinf.dwAllocationGranularity;
DWORD dwBytesInBlock = 1000 * sinf.dwAllocationGranularity;
// 将文件数据映射到进程的地址空间
PBYTE pbFile = (PBYTE)MapViewOfFile(hFileMapping,
FILE_MAP_ALL_ACCESS,
(DWORD)(qwFileOffset>>32), (DWORD)(qwFileOffset&0xFFFFFFFF), dwBytesInBlock);