内存映射文件之剖析(一)

原创 2002年07月04日 11:24:00
 

内存映射文件之剖析<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

                                                                              作者:xrbeck

 

内存映射文件(Mapping File)Windows内存管理中的重要一环,也是编程

技术中比较高级的一个话题。目前关于这方面的资料比较少,而其实内存映射

文件其实对我们的对于Windows的内存了解很重要,在这里把笔者的心得写

出来,和大家一起讨论。

 

                          内存空间及映射

    相信大家都已经知道,在WIN32中和16Windows的最大不同就是WIN32

引入了面向进程的独立虚拟地址,这个地址的寻址空间达到了4GB2^32),当然

这个地址是虚拟的。每个进程拥有自己的独立空间,进程A的地址0X10000000

和进程B的地址0X10000000没有丝毫的联系(只是在用户进程地址空间,不包括其他

范围)。说到这个地方可能大家会奇怪了,我的机器中只有64M(或者128M等)内存呀,怎么会有这么大的地址空间呢?而进程A和进程B的同样的地址又会如何识别使得不冲突呢?

   这里先让我们来看看Windows的内存空间(注:这里我们都以Win9X来讨论,

当然Win2K或者WinNT9X在某些方面会不大一样)

                    

                     0x00000000----0x003FFFFF     4M      属于系统保留区域

 

            0x00400000---0x7FFFFFFF    2G-4M   面向进程独立的地址空间

 

            0x80000000--0xBFFFFFFF     1G       Win32共享的空间,用来存放

                                                  内存映射文件等

         

            0xC0000000---0xFFFFFFFF    1G       用来存放Vxd

 

有上面的列表可知,用户的程序运行在第二个地址范围中,而我们用来讨论的映射文件则放在了第三个地址范围中.而我们调试程序的时候经常有看到某个指针变量的值

为多少,这个值就指的是虚拟地址空间中的地址.

    那么Windows是如何将这个虚拟地址空间转化为实际的PC上的RAM的地址呢?

这就牵涉到映射的问题,也就是以页(page)为基本单位实现两个地址的对应.这个相信

在操作系统这门课里已经学习过,这里就不再重复了.在上面这个问题中,地址情况

可能如下:

           进程A                   RAM                    进程B

 

<?xml:namespace prefix = v ns = "urn:schemas-microsoft-com:vml" />

 

 

 

0x10000000

1

………

 

1          

 

 

 

 

0x10000000

 

 

 

 

 

 

 


这样,相信大家都已经清楚了程序访问中的地址空间和具体的OS访问的地址之间的关系了吧(关于页的大小,不同的平台有不同的值,Windows的是4K,我们可以用GetSystemInfo这个API返回的SYSTEM_INFO中的dwPageSize得知道)

(备注2:实际的映射过程中,是以64K为边界对齐的)

   

虚拟内存

然而,我们知道RAM是宝贵而稀少的,早在16位的Windows时代已经推出

了硬盘交换文件以提供虚拟内存,Win32则是提供了硬盘上的页面文件来继续

支持虚拟内存.根据Richter的说法:”系统页面的大小是决定应用程序能使用多少

物理内存的最重要的因素,RAM只是很小的影响”.在实际的内存访问过程中,系统

先会上RAM中寻找需要的资料,如果找不到,就会提供一个页面错误让OS上页面

文件上去找,如果找到则把页面文件的内容加载到RAM继续访问,否则就报错

提示无效的页面错误”(也是我们最常碰到的程序错误).在这里,我们不妨把页面

文件理解为后备的RAM”.(Windows提供给用户控制虚拟内存的方法是在

控制面板中的系统选项).所以在这种情况下,RAM的主要作用只是起到了

和硬盘上的页面文件做数据的交换,所以才有了Richter的说法.

      如果用户程序要自己使用虚拟内存,那么首先的第一步是在进程地址

空间中保留(rerserve)一块地址(4M—2G),然后再把这块空间提交(commit)

给真正的内存.Windows提供给我们的对虚拟内存的操作界面是VirtualAlloc

VirtualFree这一组API,这样我们就可以利用虚拟内存的庞大的特性来处理

一般程序难以解决的问题.比如假设有个二维结构Item[300][256];里面每个单位

200个字节, 现在要修改里面的某个单元,要实际的分配这么大的内存几乎是

不可能的,而分匹处理又难以体现二维结构直接用下标访问的简洁性,这样我们

就可以先保留下这个庞大的结构,然后只提交要修改的部分给实际的内存,使得

最后的操作简洁而有效.

Windows提供的保留和提交虚拟内存的函数只是一个:VirtualAlloc,不过是里面

的参数不一样,拿上面的例子而言,我们可以这样处理:

 

LPVOID  pStart = NULL;      

LPVOID  pItem = NULL;

DWORD  Offset=0;

  // 在系统默认位置保留整个数据结构,返回保留的首地址 

pStart =VirtualAlloc(NULL,300*256*200, MEM_RESERVE,PAGE_READWRITE);

 

  // 计算出要存取的偏移位置

  ….

// 只提交其中的一部分给内存

pItem =VirtualAlloc(pStart+Offset,200,MEM_RESERVE,PAGE_READWRITE);

  // 直接修改

pItem=….  

VirtualFree(pStart, 300*256*200, PAGE_READWRITE); 

 

     可是虚拟内存也会带来不方便的地方,假设我们要运行一个程序,按照前面

的做法是要使用到页面文件来作为虚拟内存而访问,这样系统必然是先保留

程序的地址空间,然后提交物理内存,接下来把数据和代码从硬盘上的程序文件

拷贝到系统的页面文件,最后加载运行.这样的结果必然是使得加载一个应用

程序的时间变的很长,所以系统真正的做法是把程序文件(.exe)直接当作是内存

文件而使用,这样就不再从页面文件中分配空间使得加载的时间大大增加.

     这个特性无疑是非常诱人的,居然可以直接拿文件当内存,那不是很方便吗?

是的.在系统加载exe文件和dll文件的时候,系统是自动这么处理的.那么如果

是一般的数据文件要使用这种特性可以吗?答案是肯定的,也就是我们绕了一个

大圈子最终要说的今天的话题:内存映射文件.

Java NIO 内存映射文件实现进程间通信

一看到 Java NIO 的内存映射文件(MappedByteBuffer),让我立即就联想到 Windows 系统的内存映射文件h。Windows 系统的内存映射文件能用来在多个进程间共享数据,即进...
  • kobejayandy
  • kobejayandy
  • 2014年10月25日 22:46
  • 1413

使用内存文件映射实现共享内存

不使用IPC中的共享内存(shm),使用内存文件映射的方式来实现共享内存 共享内存写入者: // 使用文件内存映射进行内存共享 #include #include #include #inc...
  • NB_vol_1
  • NB_vol_1
  • 2016年07月15日 12:02
  • 1262

Linux IPC实践(8) --共享内存/内存映射

概述    共享内存区是最快的IPC形式。一旦这样的内存映射到共享它的进程的地址空间,这些进程间数据传递不再涉及到内核,换句话说是进程不再通过执行进入内核的系统调用来传递彼此的数据(如图)。 共享内存...
  • hanqing280441589
  • hanqing280441589
  • 2015年02月19日 14:51
  • 2446

(转)内存映射文件之剖析

感谢:http://lovelife1979.spaces.live.com/blog/cns!6A6A8C9E05280D5F!291.entry,我学到了很多东西。~~内存映射文件(Mapping...
  • zhangqi187
  • zhangqi187
  • 2010年04月16日 09:07
  • 445

内存映射文件之剖析

内存映射文件前面已经提到:内存映射文件是拿文件直接当作系统的内存使用,那么它主要的用途是什么呢?主要有以下两点:1.       直接用内存映射文件来访问磁盘上的数据文件,无需再进行文件的I/0操作....
  • c0ffee1982
  • c0ffee1982
  • 2007年11月19日 12:18
  • 462

内存映射文件之剖析(二)

 内存映射文件前面已经提到:内存映射文件是拿文件直接当作系统的内存使用,那么它主要的用途是什么呢?主要有以下两点:1.       直接用内存映射文件来访问磁盘上的数据文件,无需再进行文件的I/0操作...
  • xrbeck
  • xrbeck
  • 2002年07月04日 11:17
  • 5257

linux内核分析:进程切换机制

“陈涛 + 原创作品转载请注明出处 + 《Linux内核分析》MOOC课程http://mooc.study.163.com/course/USTC-1000029000 ”这次作业主要运行一个小程序...
  • u010856103
  • u010856103
  • 2017年03月05日 17:55
  • 264

【C++深度剖析教程14】经典问题解析三之关于赋值的疑问

今天我们来总结一下,之前所学C++中所遇到的一些经典的问题。 第一个疑问是: -什么时候需要重载赋值操作符 -编译器是否提供默认的赋值操作? 解答: *编译器为每个类默认重载了赋值操作...
  • qq_37375427
  • qq_37375427
  • 2018年01月22日 00:53
  • 298

UGUI之RectTransform常用点

最近因为要做各种UI控件,于是与UGUI杠上了。首当其冲的就是RectTransform,最坑爹的是,这货竟然不是UGUI框架的,代码竟然封装在unityengine里面,所以,不得不吐槽下unity...
  • dk_0520
  • dk_0520
  • 2016年12月26日 18:49
  • 249

Impala之03-原理、架构分析(2)

上一篇文章《Impala之02-原理、架构分析(1)》介绍了MPP相关背景知识,本文将深入分析Impala系统架构、原理。 下图展示了Impala的系统架构和查询的执行流程。从图中可以看出,Imp...
  • sinat_25059791
  • sinat_25059791
  • 2017年04月09日 16:01
  • 430
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:内存映射文件之剖析(一)
举报原因:
原因补充:

(最多只允许输入30个字)