纯DOS下内存的管理—实模式下访问4GB内存

http://blog.csdn.net/favory/article/details/3618387

纯DOS下内存的管理—实模式下访问4GB内存

DOS操作系统最早设计时，PC机的硬件系统只支持1M字节的寻址空间，所以DOS只能管理最多1M字节的连续内存空间。在这1M内存中，又只有640K被留给应用程序使用，它们被称为常规内存或基本内存，其它384K被称为高端内存，是留给视频显示和BIOS等使用的。在1982年，640K内存对微型计算机来说显得绰绰有余，人们甚至认为，640K的内存可以用来干任何事。现在看起来有些可笑，但在当时，情况确实如此。

现在的情况是，即使你的电脑装有几兆或几十兆内存，但如果你使用DOS操作系统，那么你也只有640K的内存可以直接使用，1M以上的内存要通过一些内存管理工具才能使用。值得庆幸的是，Windows 95已经不存在常规内存的限制了，你所有的内存，不管是8M还是128M，都可以被直接使用。 
在DOS下，系统中存在以下四种内存： 
常规内存(Conventional Memory)； 
高端内存(Upper Memory)； 
扩充内存(Expanded Memory)； 
扩展内存(Extended Memory)。

常规内存指的是0－640K的内存区。在DOS下，一般的应用程序只能使用系统的常规内存，因而都要受到640KB内存的限制。而且由于DOS本身和config.sys文件中的安装的设备驱动程序和autoexec.bat文件中执行的内存驻留程序都要占用一些常规内存，所以应用程序能使用的常规内存是不到640K的。有很多时候，我们都要想方设法地整理内存，好为一些“胃口”比较大的应用程序留出足够的常规内存，这一点想必是许多DOS时代的电脑爱好者最熟悉不过的了。

高端内存是指位于常规内存之上的384K内存。程序一般不能使用这个内存区域，但是EMM386.exe可以激活高端内存的一部分，并且它允许用户将某些设备驱动程序和用户程序用Devicehigh或LH(即loadhigh)装入高端内存。dos=high,umb也是把DOS的一部分装到高端内存里。这里的umb是高端内存块(Upper Memory Block)的缩写。

扩充内存是一种早期的增加内存的标准，最多可扩充到32M。使用扩充内存必须在计算机中安装专门的扩充内存板，而且还要安装管理扩充内存板的管理程序。由于扩充内存是在扩展内存之前推出的，所以大多数程序都被设计成能使用扩充内存，而不能使用扩展内存。由于扩充内存使用起来比较麻烦，所以在扩展内存出现后不久就被淘汰了。

扩展内存只能用在80286或更高档次的机器上，目前几乎所有使用DOS的机器上超过1M的内存都是扩展内存。扩展内存同样不能被DOS直接使用，DOS5.0以后提供了Himem.sys这个扩展内存管理程序，我们可以通过它来管理扩展内存。emm386.exe可以把扩展内存(XMS)仿真成扩充内存(EMS)，以满足一些要求使用扩充内存的程序。

最后再强调一下，不管扩充内存或扩展内存有多大，DOS的应用程序只能在常规内存下运行。有的程序可以通过DOS扩展器(比如DOS4GW.exe等程序)使CPU进入保护模式，从而直接访问扩展内存；但是要注意，进入保护模式以后，计算机就脱离了DOS状态。

最常见的方法有以下几种:

 1. 精减程序的尺寸，同时尽量避免一次使用太多的内存 （有没有搞错？偶只是初学者，不是算法专家耶）

2. 使用文件覆盖技术，只在使用指定代码时才将其读入内存，执行后释放 （偶的程序怎么就这么慢呢？硬盘狂转中…）

3. 用标准的DOS扩展技术如EMS、XMS、DPMI （哇！功能好强，不过程序改起来好累啊）

4. 自己写保护模式平台 （谁要这么做了别忘了发一份源程序给我啊）

5. 转移到其他平台如Windows/UNIX/LINUX （拜托，我只想在DOS下运行啊）

程序压缩效果再好也是有限，总不能达到50%以上吧，程序要用2M乃至10M内存呢？文件覆盖需要自己编写调度模块，而且因为频繁读写硬盘，将导致程序运行速度变得很低；EMS、XMS、DPMI功能强大，兼容性强，尤其是DPMI规范不 但支持大内存访问，而且还可以在保护模式下运行代码并能超越64KB的段地址限制，实在是写大型程序时的首选。但EMS 、XMS只能将扩展内存当作高速硬盘使用，所有的访问都只能通过一系列中断调用来完成，对于经常需要小尺寸大批量内 存访问的程序就不太适合，而且使用它们均受制于实模式的64KB段地址空间，对于大数据量访问也不太方便；用DPMI当 然就没有这些限制，但它需要将所有的程序按保护模式的结构改写，这也是一件麻烦的事。自己写保护模式平台（汗！… 这个我想没有几个人做得到吧，我就算做得到也不会做的）。至于转移到其他平台那就不用我说了。看到这里，读者不禁会问：“那照这么说来没有一种方法是好的了？” 其实也不是这样，每种方法都有它的优点和缺点，要看你的需要来决定到底使用哪种方法。

好了，废话说了这么多，再不切入正题的话估计会有人向我扔鸡蛋了，下面就来告诉大家怎么做到在实模式下访问4GB内存。这种技术需要保护模式支持，所以只能在80386以上的CPU中运行。 学过一点保护模式的读者都知道，在保护模式下段地址寄存器中内容的不再象实模式那样是段的基地址，而只是描述符表中的一个索引，段的真正信息（基地址、限长、访问权限等）放在描述符表中，当访问一数据时CPU会从描述符表取出段的描述信息来检查访问是否合法，不合法就产生异常，合法则允许访问。每次访问都要读出描述符信息再检查是一个比较费时的过程，为了提高内存访问的速度，Intel公司在CPU中为每个段寄存器配备了一个高速缓冲器来存放段的描述符信息，这样访问内存时就不用频繁地访问描述表，只要从高速缓冲进行校验就行，只有在改变段寄存器的值时才访问描述符表将新的段描述符装入高速缓冲中。我们就利用CPU的这个特性来达成我们的目的。首先进入保护模式，把某个段寄存器设为基地址0H，限长4GB，然后再退回实模式。这样就可以通过该段寄存器直接访问4GB的内存了（实际上只能访问你的机器上所有的内存而并不是4GB）！还有一点要注意的是一定要打开A20线，否则……别怪我言之不预！

下面列出所需要的代码：

========================================================

Make4GBSegment MACRO _seg
local MyGdt,PM_Service,Old_GDTR,GDTR,Real_Service,MyGdt
local _Exit
Push DS
Push ES
Pushad
Pushfd ;保护现场 
Sub EBX,EBX
Mov BX,CS
Mov DS,BX
Shl EBX,4
Push EBX
Rol EBX,8
Mov BYTE Ptr MyGdt[8+7],BL
Mov BL,BYTE Ptr MyGdt[8+5]
Ror EBX,8
Mov Dword Ptr MyGdt[8+2],EBX
Pop EBX
lea EBX,[EBX+MyGdt]
Mov DWORD Ptr [GDTR+2],EBX
Mov WORD Ptr [GDTR],31 ;建立新的GDTR
Cli
Sgdt FWORD Ptr [Old_GDTR] ;保存旧的GDTR
Lgdt FWORD Ptr [GDTR] ;设置新的GDTR
Mov EBX,CR0
Or BL,1
Mov CR0,EBX ;进入保护模式
db 0eah
DW PM_Service
DW 8 ;跳转到保护模式代码执行

PM_Service:
 Mov AX,16
 Mov _seg,AX
 Mov EBX,CR0
 And EBX,0fffffffeh
 Mov CR0,EBX
 DB 0eah
 DW Real_Service
 DW seg Real_Service

Real_Service:
 Lgdt FWORD Ptr [Old_GDTR]
 Popfd ;恢复现场
 Popad
 Pop ES
 Pop DS
 Jmp _Exit
 MyGdt DQ 0
 DW -1,0,9a00h,0
 DW -1,0,9200h,0cfh
 DQ 0
 Old_GDTR DW 0,0,0
 GDTR DW 0,0,0

_Exit:
 Endm

========================================================

在这里为了方便我只把FS改成4GB段，读者可以按需要自行决定使用哪个段寄存器。只要将这段代码拷贝到你的程序中，然后在开始的时候调用它，就可以通过该段寄存器直接访问大内存了，爽吧！最后还有一点一定要注意：如果你的程序运行时有任何扩展内存管理程序存在（HIMEM、EMM386等）都要千万小心，因为很容易会破坏到它们的内部数据或其他程序的数据，如果是这样就只有死机一条路可走了。切记切记！我的建议是最好从内存顶端开始使用扩展内存。这时破坏其他数据的可能要小一些。

 

文章二：实模式下访问4GB内存

作为软件开发人员，大多数对于保护模式都感到神秘和不易理解。本人在开发32位微内核抢占式多线程操作系统过程中，深入了解到CPU的地址机理，在这里将分析CPU的工作原理，解开保护模式的神秘面纱，读者将会发现保护模式其实与实模式一样简单和易于控制。在此基础上用四五十行C语言程序做到进出保护模式和在实模式之下直接访问整个4GB内存空间。

虽然有许多书籍对保护模式作解释，但没有一本能简单明了地解释清楚，冗长烦杂的术语让人看着想打瞌睡，甚至还有许多用汇编写的(可能根本不能运行的)保护模式试验程序，事实上用C语言本身就可以做保护模式的进出工作。

我们可能知道CPU上电后从ROM中的BIOS开始运行，而Intel文档却说80x86CUP上电总是从最高内存下16字节开始执行，那么BIOS是处在内存的最顶端64K(FFFF0000H)还是1M之下的64K(F0000H)处呢?事实上在这两个地方都同时出现(可用后面存取4GB内存的程序验证)。为什么?为了弄清楚以上问题，首先要了解CPU是如何处理物理地址的?真的是在实模式下用段寄存器左移4位与偏移量相加，在保护模式下用段描述符中的基地址加偏移量而两者是毫无关联的吗?答案是两者其实是一样的。当Intel把80286推出时其地址空间变成了24位，从8086的20位到24位，十分自然地要加大段寄存器才行，实际上它们都被加大了，只是由于保护的原因加大的部分没有被程序看见，到了80386之后地址又从24位加大到32位(80386SX是24位)。

在8086中CPU只有“看得见部分”，从而也直接参与了地址形成运算，但在80286之后，在“看不见部分”中已经包含了地址值，“看得见部分”就退化为只是一个标号再也不用参与地址形成运算了。地址的形成总是从“不可看见部分”取出基址值与偏移相加形成地址。也就是说在实模式下当一个段寄存器被装入一个值时，“看不见部分”的界限被设成FFFFH，基址部分才是要装入值左移4位，属性部分设成16位0特权级。这个过程与保护模式时装入一个段存器是同理的，只是保护模式的“不可见部分”是从描述表中取值，而实模式是一套固定的过程。

对于CPU在形成地址时，是没有实模式与保护模式之分的，它只管用基址(“不可见部分”)去加上偏移量。实模式与保护模式的差别实际上只是保护处理部件是否工作得更精确而已，比如不允许代码段的写入。实模式下的段寄存装入有固定的形成办法从而也就不需要保护模式的“描述符”了，因此保持了与8086/8088的兼容性。而“描述符”也只是为了装入段寄存器的“不可见部分”而设的。

从上面的“整个段寄存器”可见CPU的地址形成与“看得见部分”的当前值毫无关系，这也解释了为什么在刚进入保护模式时后面的代码依然被正确地运行而这时代码段寄存器CS的值却还是进入保护模式前的实模式值，或者从保护模式回到实模式时代码段CS被改变之前程序是正常地工作，而不会“突变”到CS左移4位的地址上去，比如在保护模式时CS是08H的选择器，到了实模式时CS还是08H但地址不会突然变成80H加上偏段量中去。因为地址的形成不理会段寄存器“看得见部分”的当前值，这一个值只是在被装入时对CPU有用。

地址的形成与CPU的工作模式无关，也就是说实模式与0特权级保护模式不分页时是一模一样的。明白了这一机理，在实模式下一样可以处理通常被认为只有在保护模式才能做的事，比如访问整个机器的内存。可以不必理会保护模式下的众多术语，或者更易于理解，如选择器就是“看得见部分”，描述符是为了装入“不可见部分”而设的。

作为验证CPU的这种机理，这里写了一个实模式下访问4GB内存的C程序。有一些书籍也介绍有同样功能的汇编程序，但它们都错误地认为是利用80386芯片的设计疏漏。实际上Intel本身就在使用这种办法，使得CPU上电时能从FFFFFFF0H处开始第一条指令，这种技术在286之后的每一台机器每一次冷启动时都使用，只是我们不知道罢了。CPU上电也整个代码段寄存器是这样的：
EIP=0000FFF0H这样CS∶EIP形成了FFFFFFF0H的物理地址，当CPU进行一次远跳转重新装入CS时，基址就变了。

为了访问4G内存空间，必须有一个段寄存器的“不可见部分”的界限为4G-1，基址为0，这样就包含了4GB内存，不必理会可见部分的值。显然要让段寄存器在实模式下直接装入这些值是不可能的。唯一的办法是让CPU进入一会儿保护模式在装入了段寄存器之后马上回到实模式。

进入保护模式十分简单，只要建好GDT把CRO寄存器的位0置上1，CPU就在保护模式了，从前面所分析CPU地址形成机理可知，这时不必理会寄存器的“看得见部分”值是否合法，各种段寄存器是一样可用的，就像没进保护模式一样。在把一个包含有4GB地址空间的值装入某个段寄存器之后就可返回实模式。
预先可建好GDT如下：
unsigned long GDT-Table[]=

{0,0,                   //空描述符，必须为零

0x0000FFFF,0xCF9A00,    //32位平面式代码段

0x0000FFFF,0xCF9200 } , //32位平面式数据段只是为了访问数据的话只要2个GDT就足够了，因为并没有重装代码段，这里给出3个GDT只是为了完整性。

通常在进入保护模式时要关闭所有的中断，把IDTR的界限设置为0，CPU自动关闭所有中断，包括NMI，返回实模式后恢复IDTR并开中断。另外A20地址线的控制对于正确访问整个内存也很重要，在进入保护模式前要让8042打开A20地址线。

在这个例子里FS段寄存器设成可访问4GB内存的基址和界限，由于在DOS中很少有程序会用到GS、FS这两个386增加的段寄存器，当要读写4GB范围中的任一个地方都可通过FS段来达到，直到FS在实模式下被重装入冲掉为止。

这个例子在386SX、386DX、486上都运行通过。例子里加有十分详细的注释，由于这一程序是用BC 3.1编译连接的，而其连接器不能为DOS程序处理32位寄存器，所以直接在代码中加入操作码前缀0x66和地址前缀0x67，以便让DOS实模式下的16位程序可用32位寄存器和地址。程序的右边以注释形式给出等效的32位指令。要注意16位的指令中mov al, byte ptr [BX]的指令码正好是32位的指令mov al, byte ptr[EDI]。

读者可用这个程序验证BIOS是否同时在两个区域出现。如果有线性定址能力的VESA显示卡(如TVGA9440)还可进一步验证线性显示缓冲区在1MB之上的工作情况。

1. #include <dos.h>
2. unsigned long GDT-Table[]=
3. {0,0, //NULL - 00H
4. 0x0000FFFF,0x00CF9A00, //Code32 - 08h Base=0 Limit=4G-1 Size=4G
5. 0x0000FFFF,0x00CF9200  //Data32 - 10h Base=0 Limit=4G-1 Size=4G
6. };
7. unsigned char OldIDT [6]={0}; //Save The IDTR before Enter Protect Mode.
8. unsigned char pdescr-tmp [6]={0}; //NULL The IDTR s Limit=0 CPU will
9. // disable all Interrupts, include NMI.
10. #define KeyWait() {while(inportb(0x64) &2);}
11. void A20Enable(void)
12. {
13. keyWait ();
14. outportb(0x64,0xD1);
15. KeyWait();
16. outportb(0x60,0xDF); //Enable A20 with 8042.
17. KeyWait();
18. outportb(0x64,0xFF);
19. KeyWait ();
20. }
21. void LoadFSLimit4G(void)
22. {
23. A20Enable (); //Enable A20
24. //***
25. Disable ints & Null IDT
26. //***
27. asm {
28. CLI //Disable inerrupts
29. SIDT OldIDT //Save OLD IDTR
30. LIDT pdescr-tmp //Set up empty IDT.Disable any interrupts,
31. } // Include NMI.
32. //***
33. Lodd GDTR
34. //***
35. asm{ // The right Code is Real, But BC++ s Linker NOT
36. // Work with 32bits Code.
37. db 0x66 //32 bit Operation Prefix in 16 Bit DOS.
38. MOV CX,DS //MOV ECX,DS
39. db 0x66 //Get Data segment physical Address
40. SHL CX,4 //SHL ECX,4
41. MOV word ptr pdescr-tmp [0],(3*8-1)
42. //MOV word ptr pdescr-tmp [0], (3*8-1)
43. db 0x66
44. XOR AX,AX //XOR EAX,EAX
45. MOV AX,offset GDT-Table
46. // MOV AX,offset GDT-Table
47. db 0x66
48. ADD AX,CX //ADD EAX,ECX
49. MOV word ptr pdescr-tmp [2], AX
50. //GDTR Base low16 bits
51. db 0x66
52. SHR AX,16 //SHR EAX,16
53. MOV word ptr pdescr-tmp [4],AX
54. //GDTR Base high16 bits
55. LGDT pdescr-tmp //Load GDTR
56. }
57. //****
58. //* Enter 32 bit Flat Protected Mode
59. //****
60. asm{
61. mov DX,0x10 // The Data32 Selector
62. db 0x66,0x0F,0x20,0xC0 // MOV EAX,CR0
63. db 0x66
64. MOV BX,AX // MOV EBX,EAX
65. OR AX,1
66. db 0x66,0x0F,0x22,0xC0
67. //MOV CRO,EAX // Set Protection enable bit
68. JMP Flsuh
69. } //Clear machine perform cache.
70. flush: // Now In Flat Mode, But The CS is Real Mode Value.
71. asm { //And it s attrib is 16Bit Code Segment.
72. db 0x66
73. MOV AX,BX //MOV EAX,EBX
74. db 0x8E,0xE2 //MOV FS,DX
75. //Load FS Base=0 Size=4G now
76. db 0x66,0x0F,0x22,0xC0 //MOV CRO,EAX
77. //Return Real Mode.
78. LIDT OldIDT //LIDT OldIDT //Restore IDTR
79. STI // STI //Enable INTR
80. }
81. }
82. unsigned char ReadByte (unsigned long Address)
83. {
84. asm db 0x66
85. asm mov di,word ptr Address // MOV EDI, Address
86. asm db 0x67 //32 bit Address Prefix
87. asm db 0x64 //FS:
88. asm mov al,byte ptr [BX] // =MOV AL, FS: [EDI]
89. return -AL;
90. }
91. unsigned char WriteByte(unsigned Long Address)
92. {
93. asm db 0x66
94. asm mov di,word ptr Address //MOV EDI, Address
95. asm db 0x67 //32 bit Address Prefix
96. asm db 0x64 //FS:
97. asm mov byte ptr [BX],al //=MOV FS: [EDI],AL
98. return -AL;
99. }
100.  Don t Touch Above Code ///
101. # include <stdio, h>
102. void Dump4G (unsigned long Address)
103. {
104. int i;
105. int j;
106. for (i=0; i<20; i++)
107. {
108. printf (“%081X: ”, (Address+i*16));
109. for (j=0; j<16;j++)
110. printf ("% 02X" ,ReadByte (Address+i*16+j));
111. printf (" ");
112. for (j=0;j<16;j++)
113. {
114. if (ReadByte (Address+i*16+j) <0x20) printf (" . ");
115. else printf (" %C ", ReadByte (Address+i*16+j));
116. }
117. printf ("/n");
118. }
119. }
120. main ()
121. {
122. unsigned long Address=0;
123. unsigned long tmp;
124. LoadFSLimit4G ();
125. printf ("====Designed By Southern. 1995.7.17====/n");
126. printf (" Now you can Access The Machine All 4G Memory./n");
127. printf (" Input the Start Memory Physical to DUMP. /n");
128. printf (" Press D to Cuntinue DUMP, 0 to End & Quit, /n");
129. do {
130. printf ("-");
131. scanf ("%IX", &tmp);
132. if (tmp==0x0d) Address+=(20*16);
133. else Address=tmp;
134. Dump4G (Address);
135. }while (Address !=0);
136. return 0;
137. }