使用内存映射文件来提高你程序的性能

本人在学习《WINDOWS核心编程》的时候对JEFFREY大师提到的一个小程序写了两个版本来比较性能,该程序的原始需求是这样的:对一个大文件进行倒序,也就是将一个文件头变成尾,尾变成头。

  使用的方法有很多种,这里使用两个方法来比较,主要是突出使用内存映射文件好处;两种方法为:内存映射文件方法,I/O读写的缓存办法。

  第一种办法是创建内存映射文件对象,然后将该对象映射到进程的地址空间中,再读取文件内容,然后倒序,再写入文件。

  第二中方法是,将文件内容读入一个大的缓冲区,然后倒序,再写入文件,中间对原来的文件删除,然后重新写入。

  程序编写如下

  第一种方法, 内存映射文件方式
None.gifBOOL FileReverse(PCTSTR pszPathName)
ExpandedBlockStart.gif {
InBlock.gifHANDLE hFile = CreateFile(pszPathName,GENERIC_WRITE|GENERIC_READ,0,NULL
InBlock.gif,OPEN_EXISTING,FILE_ATTRIBUTE_NORMAL,NULL);
InBlock.gifif(hFile == INVALID_HANDLE_VALUE)
ExpandedSubBlockStart.gif{
InBlock.gifprintf("File could not be opened.");
InBlock.gifreturn FALSE;
ExpandedSubBlockEnd.gif}
InBlock.gif
InBlock.gifDWORD dwFileSize = GetFileSize(hFile,NULL);
InBlock.gif
InBlock.gifHANDLE hFileMap = CreateFileMapping(hFile,NULL,PAGE_READWRITE,0,
InBlock.gifdwFileSize+sizeof(char),NULL);
InBlock.gif
ExpandedSubBlockStart.gifif(hFileMap == NULL){
InBlock.gifCloseHandle(hFile);
InBlock.gifreturn FALSE;
ExpandedSubBlockEnd.gif}
InBlock.gif
InBlock.gifPVOID pvFile = MapViewOfFile(hFileMap,FILE_MAP_WRITE,0,0,0);
InBlock.gif
ExpandedSubBlockStart.gifif(pvFile == NULL){
InBlock.gifCloseHandle(hFileMap);
InBlock.gifCloseHandle(hFile);
InBlock.gifreturn FALSE;
ExpandedSubBlockEnd.gif}
InBlock.gif
InBlock.gifPSTR pchAnsi = (PSTR)pvFile;
InBlock.gifpchAnsi[dwFileSize/sizeof(char)]=0;
InBlock.gif_strrev(pchAnsi);
InBlock.gif
InBlock.gifpchAnsi = strchr(pchAnsi,'\n');
ExpandedSubBlockStart.gifwhile(pchAnsi != NULL){
InBlock.gif*pchAnsi++ ='\r';
InBlock.gif*pchAnsi++ ='\n';
InBlock.gifpchAnsi = strchr(pchAnsi,'\n');
ExpandedSubBlockEnd.gif}
InBlock.gif
InBlock.gifUnmapViewOfFile(pvFile);
InBlock.gifCloseHandle(hFileMap);
InBlock.gif
InBlock.gifSetFilePointer(hFile,dwFileSize,NULL,FILE_BEGIN);
InBlock.gifSetEndOfFile(hFile);//实际上不需要写入了。
InBlock.gif
CloseHandle(hFile);
InBlock.gif
InBlock.gifreturn TRUE;
ExpandedBlockEnd.gif}
None.gif

第二中方法, 使用缓存的方式
None.gifBOOL FileReverseNoMap(PCTSTR pszPathName)
ExpandedBlockStart.gif {
InBlock.gifHANDLE hFile = CreateFile(pszPathName,GENERIC_WRITE|GENERIC_READ,0,NULL
InBlock.gif,OPEN_EXISTING,FILE_ATTRIBUTE_NORMAL,NULL);
InBlock.gifif(hFile == INVALID_HANDLE_VALUE)
ExpandedSubBlockStart.gif{
InBlock.gifprintf("File could not be opened.");
InBlock.gifreturn FALSE;
ExpandedSubBlockEnd.gif}
InBlock.gif
InBlock.gifDWORD dwFileSize = GetFileSize(hFile,NULL);
InBlock.gif//CloseHandle(hFile);
InBlock.gif
char *readBuf = new char[dwFileSize+1];
InBlock.gifDWORD nRead = 0,nRet =0;
ExpandedSubBlockStart.gifwhile(nRead<dwFileSize){
InBlock.gifif(ReadFile(hFile,readBuf+nRead,dwFileSize-nRead,&nRet,NULL) ==TRUE)
ExpandedSubBlockStart.gif{
InBlock.gifnRead+= nRet;
ExpandedSubBlockEnd.gif}
InBlock.gifelse
ExpandedSubBlockStart.gif{
InBlock.gifprintf("Can read the file!");
InBlock.gifCloseHandle(hFile);
ExpandedSubBlockEnd.gif}
ExpandedSubBlockEnd.gif}
InBlock.gif
InBlock.gifPSTR pchAnsi = (PSTR)readBuf;
InBlock.gifpchAnsi[dwFileSize/sizeof(char)]=0;
InBlock.gif_strrev(pchAnsi);
InBlock.gif
InBlock.gifpchAnsi = strchr(pchAnsi,'\n');
ExpandedSubBlockStart.gifwhile(pchAnsi != NULL){
InBlock.gif*pchAnsi++ ='\r';
InBlock.gif*pchAnsi++ ='\n';
InBlock.gifpchAnsi = strchr(pchAnsi,'\n');
ExpandedSubBlockEnd.gif}
InBlock.gifCloseHandle(hFile);
InBlock.gifDeleteFile(pszPathName);
InBlock.gif
InBlock.gifHANDLE hWriteFile = CreateFile(pszPathName,GENERIC_WRITE|GENERIC_READ,0,NULL
InBlock.gif,CREATE_NEW,FILE_ATTRIBUTE_NORMAL,NULL);
InBlock.gifWriteFile(hWriteFile,readBuf,dwFileSize,&nRet,NULL);
InBlock.gifCloseHandle(hWriteFile);
InBlock.gif
InBlock.gifdelete readBuf;
InBlock.gif
InBlock.gifreturn TRUE;
ExpandedBlockEnd.gif}

 我运行了几次,比较结果如下:
文件大小(byte)1方法时间(ms)2方法时间(ms)
2541600
10166400
406656010
12199681030
320241621100
960724880551
672507365815568

  本人测试机器的CPU是迅池1.5的笔记本,内存为712MB

  通过上面的测试我们可以看到使用内存映射文件的好处,在文件内存越大这种优势就体现的越明显,其中主要的原因是:

  内存映射文件直接将文件的地址映射到进程的地址空间中,那么操作文件就相当于在内存中操作一样,省去了读和写I/O的时间;第二种方式是必须这么做(READFILE,WRITEFILE),这个过程是很慢的。 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
内存映射文件是一种将文件映射到进程的虚拟地址空间中的技术,它可以让程序直接访问磁盘上的文件,就好像访问内存一样。当我们需要读取或写入大量数据时,使用内存映射文件可以提高IO性能,因为它避免了频繁的磁盘IO操作和缓存的使用内存映射文件的基本思路是将一个文件或一部分文件映射到进程的虚拟地址空间中,这个虚拟地址空间就成为了文件的一个镜像。在进程中,我们可以像访问内存一样访问这个虚拟地址空间,对这个虚拟地址空间的读写操作会自动映射到磁盘上的文件中。当我们修改了这个虚拟地址空间的数据时,内核会自动将这些修改同步到磁盘上的文件中。 在Linux中,可以使用mmap()系统调用来实现内存映射文件。mmap()函数可以将一段虚拟地址空间映射到一个文件描述符所表示的文件中。mmap()函数的原型如下: ``` void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset); ``` 其中,addr是期望映射的虚拟地址空间的起始地址,如果addr为NULL,则由系统自动分配一个地址;length是映射的长度;prot是内存保护标志,用于指定映射区域的访问权限;flags是控制映射区域的各种属性;fd是文件描述符;offset是文件中的偏移量。 使用内存映射文件时需要注意以下几点: 1. 内存映射文件需要占用进程的虚拟地址空间,因此需要注意虚拟地址空间的大小; 2. 内存映射文件需要和文件描述符一起使用,因此需要注意文件描述符的打开和关闭; 3. 内存映射文件修改的数据需要及时同步到磁盘上,因此需要注意数据同步的方式和时机; 4. 内存映射文件使用需要考虑数据的安全性,避免出现数据损坏或数据丢失的情况。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值