Windows内存管理—内存映射、PAE、MmPfnDatabase

最新推荐文章于 2024-05-02 17:23:00 发布
最新推荐文章于 2024-05-02 17:23:00 发布
阅读量2.4k 收藏 8
点赞数 1
分类专栏： Windows开发 文章标签： windows 内存管理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42814021/article/details/120748995
版权

Windows内存管理

内存有两种，一种是由内存条构成的所谓的物理内存，这种内存读取速度快；
还有一种是虚拟内存，由硬盘构成，也就是把硬盘的一部分容量拿来当作内存用，但是速度没有内存条那么快。

两者的关系：
每个进程都有4GB的虚拟内存，但不是所有的虚拟内存都有对应的物理内存，它其实是在物理内存和磁盘之间进行倒换的。
虚拟内存在用的时候，会从磁盘倒入物理内存，不用的时候就还是存在磁盘上。因此，同一个物理内存在不同的时间可以被用于不同进程的不同虚拟内存。

基于页面映射的虚拟内存机制：
在硬件上：由CPU芯片内部或外部的存储管理单元MMU支持。
在软件上：由操作系统内核中的内存管理模块实现。

采用页式内存管理时，程序中所使用的内存地址，即CPU中的运算单元ALU所发出的都是虚拟地址。虚拟地址是不能直接用来访问物理内存的，需要转换成物理地址才能访问。

名词解释：
PDE：Page Directory Entry，页目录表项。
PTE：Page Table Entry，页表项。
PAE：Physical Address Extension，物理地址扩展。
PFT：Page Frame Table，页帧表。
PFN：Page Frame Number，页帧号。 PFN = 物理地址/4KB

虚拟地址转换为物理地址(x86)

虚拟地址转换为物理地址：由MMU（也就是存储管理单元）将虚拟地址映射到某个物理页面上，从而转换成物理地址。

每个进程都有一个页面映射表，首先是根据CR3寄存器找到页面映射表。

页面映射表分为两层，第一层是页目录表，它实际上是一个指针数组，有1024个表项，每一项PDE都指向一个页表，页表也有1024项，每一项PTE指向对应的物理页面。

x86下，虚拟地址有32位，

31-22（10位）：页目录表索引
21-12（10位）：页表索引
11-0（12位）：页内偏移

根据它的前20位能定位到相应的物理页面首地址，然后再加上页面偏移就得到物理地址了。
在这里插入图片描述

PAE 模式

PAE，Physical Address Extension，物理地址扩展。

它是通过设置CR4寄存器的第5位(PAE标志)来开启的，开启之后，CR3寄存器就指向了页目录指针表。

开启PAE：
bcdedit /set pae forceenable
关闭PAE：
bcdedit /set pae forcedisable

可以通过bcdedit命令来验证是否成功，开启成功显示：
在这里插入图片描述

开启PAE之后，页表和页目录中的表项都从32位扩为64位(8字节)，而页表和页目录的总大小不变(4KB)，所以页表和页目录都变成了512个表项。
这样就需要有4个页目录表，因此又多加了一个页目录指针表(32字节)，里边有4项，每一项指向一个页目录表。

不会算的看这里：
原来是1个页目录表，1024个页表，一共有 1024 * 1024个PTE
现在每个页表有512个PTE，一共1024 * 1024个PTE，所以需要2048个页表
1个页目录表指向512个页表，所以现在需要4个页目录表。

x86下开启PAE模式，虚拟地址有32位，

31-30（2位）：页目录指针表的索引
29-21（9位）：页目录表索引
20-12（9位）：页表索引
11-0（12位）：页内偏移
在这里插入图片描述

Windows内存空间布局

在这里插入图片描述
x86下，每个进程有4GB的虚拟内存，用户空间和内核空间各占2GB。

用户空间的2GB:
前64KB(0x00000000-0x0000FFFF)是空指针赋值分区，
后64KB(0x7FFF0000-0x7FFFFFFF)是禁入分区，
中间(0x00010000-0x7FFEFFFF)才是真正的用户空间。

有一些特殊的地址：

  1. 0xFFDF0000 是 SharedUserData 的地址，SharedUserData在内核空间，但是又划出来让用户空间的程序访问，目的是让用户空间的程序访问内核中的一些数据。
    SharedUserData是由所有进程所共享的，指向KUSER_SHARED_DATA结构，用户程序通过指针SharedUserData来读取这个结构中各个成分的内容。

  2. 进程的PEB总是安排在0x7FFDF000的地方，占4KB；TEB在PEB的上方(0x7FFDE000)，进程中有几个线程就有几个TEB，每个TEB占一个4KB的页面。

  3. 进程EPROCESS中有个成员VadRoot，它指向该进程的用户空间。

#define MM_LOWEST_USER_ADDRESS	0x00010000
#define MM_HIGHEST_USER_ADDRESS	MmHighestUserAddress
#define MM_USER_PROBE_ADDRESS	MmUserProbeAddress
#define KI_USER_SHARED_DATA     0xFFDF0000
#define SharedUserData  		((KUSER_SHARED_DATA* const) KI_USER_SHARED_DATA)

3: kd> dd MmHighestUserAddress
849ac848  7ffeffff
3: kd> dd MmUserProbeAddress
849ac850  7fff0000
3: kd> dd MmSystemRangeStart
849ac84c  80000000

3: kd> dd SharedUserData
7ffe0000  00000000 0f99a027 34ed95a7 00000000
7ffe0010  00000000 8d296be5 01d60a39 01d60a39
3: kd> dd FFDF0000
ffdf0000  00000000 0f99a027 34ed95a7 00000000
ffdf0010  00000000 8d296be5 01d60a39 01d60a39

内核对物理内存的管理（MmPfnDatabase）

Windows通过几个全局变量来对物理内存进行管理：

MmPfnDatabase，页帧数据库(也叫FPN数据库)，是MMPFN结构体类型的数组，它的索引是物理地址页帧号。

获得MmPfnDatabase的地址：84e00000
1: kd> dd MmPfnDatabase
83f7b700  84e00000 00000000 00000001 0005ffff

查看结构体发现，结构体大小为0x1C
1: kd> dt _MMPFN
nt!_MMPFN
   +0x000 u1               : <unnamed-tag>
   +0x004 u2               : <unnamed-tag>
   +0x008 PteAddress       : Ptr32 _MMPTE
   +0x008 VolatilePteAddress : Ptr32 Void
   +0x008 Lock             : Int4B
   +0x008 PteLong          : Uint4B
   +0x00c u3               : <unnamed-tag>
   +0x010 OriginalPte      : _MMPTE
   +0x010 AweReferenceCount : Int4B
   +0x018 u4               : <unnamed-tag>
   
第一个数组项，也就是PFN为1的物理页面：
1: kd> dd 84e00000 + 1c
84e0001c  00000000 00000001 c07fe838 00460001
84e0002c  00000000 00000000 0000018a 
验证一下，可以发现各数据成员的值都是能对的上的：
1: kd> !pfn 1
    PFN 00000001 at address 84E0001C
    flink       00000000  blink / share count 00000001  pteaddress C07FE838
    reference count 0001   Cached     color 0   Priority 0
    restore pte 00000000  containing page 00018A  Active 
 
 
第二个数组项：
1: kd> dd 84e00000 + 1c*2
84e00038  00000000 00000001 c07fe920 00460001
84e00048  00000000 00000000 0000018a
同样再验证一下：
1: kd> !pfn 2
    PFN 00000002 at address 84E00038
    flink       00000000  blink / share count 00000001  pteaddress C07FE920
    reference count 0001   Cached     color 0   Priority 0
    restore pte 00000000  containing page 00018A  Active
    
......
以此类推，第n个数组项的地址是：84e00000 + 0x1c*n

MmNumberOfPhysicalPages，物理页面的个数，也是MmPfnDatabase数组的长度。

1: kd> dd MmNumberOfPhysicalPages
83f7b710 0005ff7e 7ffeffff 80000000 7fff0000

0x5ff7e * 4KB = 1535MB
在这里插入图片描述

看一下MmPfnDatabase的最后一个数组项
1: kd> dd 84e00000 + 1c*0005ff7e 
8587f1c8  00000000 00000001 c042cbf8 00560001
8587f1d8  00000000 00000000 00005a05
1: kd> !pfn 0005ff7e 
    PFN 0005FF7E at address 8587F1C8
    flink       00000000  blink / share count 00000001  pteaddress C042CBF8
    reference count 0001   Cached     color 0   Priority 0
    restore pte 00000000  containing page 005A05  Active     M       
    Modified

MmPageLocationList，链表头数组，物理页有六种状态，相同状态的物理页用一个链表维护。关于链表的详细内容后续会补充一下。

1: kd> dd MmPageLocationList
83e5b894  83f7c000 83f7c040 83f7c080 83f7c0c0
83e5b8a4  83f3b94c 83f3b960 00000000 00000000

typedef struct _MMPFNLIST
{
    PFN_NUMBER Total;
    MMLISTS ListName;
    PFN_NUMBER Flink;
    PFN_NUMBER Blink;
} MMPFNLIST, *PMMPFNLIST;
PMMPFNLIST MmPageLocationList[] =
{
	&MmZeroedPageListHead,		// 零化链表，可以使用并已经清零的内存
	&MmFreePageListHead,		// 空闲链表，被释放的内存，会定期检测是否有数据，如果有就清空并挂到MmZeroedPageListHead中
	&MmStandbyPageListHead,	    // 备用链表
	&MmModifiedPageListHead,    // 修改过的内存
	&MmModifiedNoWritePageListHead,	// 修改过但是没有写出的内存，即不会写到磁盘上
	&MmBadPageListHead,		    // 损坏的内存
	NULL,
	NULL
};

获得MmPfnDatabase的地址

可以通过KeCapturePersistentThreadState函数获得，
在windbg中查看x86下函数的汇编，我们可以发现其中有很多重要信息，
除了MmPfnDatabase，还可以获得PsLoadedModuleList 、PsActiveProcessHead等地址。
PsLoadedModuleList 是维护系统加载的所有内核模块的双向链表头；
PsActiveProcessHead 在之前的文章中有简单介绍过，是维护系统中所有进程EPROCESS的双向链表头。

0: kd> u KeCapturePersistentThreadState l 50
nt!KeCapturePersistentThreadState:
83edaad3 8bff            mov     edi,edi
83edaad5 55              push    ebp
......
83edab3d 894310          mov     dword ptr [ebx+10h],eax
83edab40 a100b7f783      mov     eax,dword ptr [nt!MmPfnDatabase (83f7b700)]
83edab45 894314          mov     dword ptr [ebx+14h],eax
83edab48 c7431850b8f583  mov     dword ptr [ebx+18h],offset nt!PsLoadedModuleList (83f5b850)
83edab4f c7431c183ff583  mov     dword ptr [ebx+1Ch],offset nt!PsActiveProcessHead (83f53f18)
83edab56 c743204c010000  mov     dword ptr [ebx+20h],14Ch
83edab5d a16cb9f783      mov     eax,dword ptr [nt!KeNumberProcessors (83f7b96c)]
83edab62 894324          mov     dword ptr [ebx+24h],eax
......

具体获得方法：
首先获得KeCapturePersistentThreadState的地址FuncPtr，然后遍历其内存

for (PBYTE i = FuncPtr; i < (PBYTE)FuncPtr + 0xFF; i++)
{
	// 89 43 10             mov [ebx+10h],eax
	// a1 xxxxxxxx          mov eax, ds:MmPfnDataBase
	if (MmIsAddressValid(PAGE_ALIGN(i)) &&
		*(i + 0) == 0x89 &&
		*(i + 1) == 0x43 &&
		*(i + 2) == 0x10 &&
		*(i + 3) == 0xa1)
	{
		RtlCopyMemory(&MmPfnDatabaseAddr, i + 4, sizeof(ULONG32));
		break;
	}
}
哎呀呀呀浅汐
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux高端内存管理之内核映射
01-09
与直接映射的物理内存末端、高端内存的始端所对应的线性地址存放在high_memory变量中，在x86体系结构上，高于896MB的所有物理内存的范围大都是高端内存，它并不会地或自动地映射到内核地址空间，尽管x86处理器能够寻址物理RAM的范围达到4GB（启用PAE可以寻址到64GB)。一旦这些页被分配，必须in射到内核的逻辑地址空间上。在x86上，高端内存中的页被映射到3GB-4GB。 　　内核可以采用三种不同的机制将页框映射到高端内存；分别叫做内核映射、临时内核映射以及非连续内存分配。在这里，只总结前两种技术，第三种技术将在后面总结。 　　建立内核映射可能阻塞当前进程；这发生在空闲页表项不
【弄nèng - Grafana】入门篇（十三）—— Polystat panel使用
司马缸砸缸了
04-10 1894
文章目录简介1. General2. Metrics3. Options4. Overrides5. Composites6. Time range项目推荐 Polystat详解 Polystat需要安装额外的插件才能使用，地址传送门 简介 Polystat将为接收到的每个度量创建一个六边形，并具有将度量分组为复合度量并显示复合触发状态的能力 1. General 页面属性同graph一样，...
windows内核学习-内存管理
weixin_45880501的博客
09-29 1177
内存管理 使用virtualkd+windbg+winxp sp3 进行双机调试， kd> ! process 0 0 查看所有进程 查看notepad.exe进程EPROCESS结构体 kd> dt _EPROCESS 81c502a0 0x11c VADRoot :是一个搜索二叉树的入口点 ，树的每一个节点记录了被占用的虚拟内存地址空间，这个搜索二叉树就是VAD树。 VAD的属性以及遍历 VAD是管理虚拟内存的，每一个进程有自己单独的一个VAD树 使用VirtualAlloca
页帧的寻找
qq_35129925的博客
03-30 809
一、内核对物理内存的管理（MmPfnDatabase） Windows通过几个全局变量来对物理内存进行管理： MmPfnDatabase，页帧数据库(也叫FPN数据库)，是MMPFN结构体类型的数组，它的索引是物理地址页帧号。 1: kd> dq mmpfndatabase fffff800`04119228 fffffa80`00000000 000001f4`00000040 fffff800`04119238 00000000`00000390 00000000`00000000 f..
Windows x64隐藏可执行内存
鬼手的博客
12-04 6030
Windows x64隐藏可执行内存
pae扩展内存 linux,Linux内核-内存管理-PAE（物理地址扩展）
weixin_30000407的博客
04-30 246
Intel 通过在处理器上把管脚数从 32 增加到 36，以提高处理器的寻址能力，使其达到 2^36=64GB，然而线性地址的位数仍然是 32 位，为此，需引入一种新的分页机制。从pentium pro 处理器开始，intel引入一种叫做 PAE 的机制，Linux 中使用了这种机制。64GB 的 RAM 被分为 2^24 个页框，页表项的物理地址字段从 20 位扩展到 24 位，每个页表项必须包...
pae扩展内存 linux,linux内存pae
weixin_30938297的博客
04-30 359
http://en.wikipedia.org/wiki/X86-64物理地址扩展(Physical Address Extension)，又释实体位置延伸，是x86处理器的一个功能，让中央处理器在32位操作系统下存取超过4GB的实体内存。PAE为IntelPentium Pro及以上级别的CPU(包括除了总线频率为400MHz的这个版本的奔腾M之外的所有新型号奔腾系列处理器)所支持，其他兼容的处...
WIN7 开启PAE突破4G内存使用限制
热门推荐
冷月宫主的专栏
10-07 1万+
windows32位系统的最高内存使用值是4G，显示使用值不超过3.5G。也就是说，即使物理内存卡的容量累计超过了4G，系统也无法利用超过4G部分。 PAE，物理地址扩展，是基于x86 的服务器的一种功能，它使运行 Windows Server 2003, Enterprise Edition 和 Windows Server 2003，Datacenter Edition 的计算机可以
32位服务器是否只能识别4G内存，答案是否
aft71472的博客
02-06 303
Physical Address Extension（PAE）技术最初是为了弥补32位地址在PC服务器应用上的不足而推出的。我们知道，传统的IA32架构只有32位地址总线，只能让系统容纳不超过4GB的内存，这么大的内存，对于普通的桌面应用应该说是足够用了。可是，对于服务器应用来说，还是显得不足，因为服务器上可能承载了很多同时运行的应用。PAE技术将地址扩展到了36位，这样，系统就能够容纳...
pae扩展内存 linux,让32位到linux支持高达64G到内存-PAE
weixin_35815036的博客
04-30 145
转自http://www.jonboy60.com/2011/01/20/howto-install-kernel-pae/The Linux kernel with support for up to 64GB of high memory. It requires a CPU with Physical Address Extensions (PAE). Physical Address Ex...
Linux内存地址映射
12-20
在IA-32架构CPU为基础，分析CPU架构下的地址映射过程及Linux内核中的实现，并给出一些工具（附源码）来验证整个地址映射过程（包括PAE机制下的映射），方便我们更直观和深入理解Linux在x86 CPU地址映射。
X86 32位PAE地址划分
10-19
X86平台 32位PAE地址划分资料：从上述宏定义可见，80386中只使用两级页表，物理上并没有PMD 作为对比，我们可以看下arch/x86/include/asm/pgtable-3level_types.h中的宏定义，从文件名可知，在这种模式下使用了三级...
内存映射 C++实例
07-09
主要解决数据量很大的文件，直接全读进内存会导致内存资源不足，提出的一种解决方案！代码是自己写的，调试通过的
32位Windows 7 支持超过 4GB 物理内存。
06-25
32位 Vista/Windows 7 的内存容量许可限制；...破解Windows PAE 内核文件 ntkrnlpa.exe，绕过 ZwQueryLicenseValue API 函数的许可限制，使工作站版本 32位 x86 的 Vista/Windows 7 支持超过 4GB 物理内存。
用Stream流方式合并两个list集合（部分对象属性重合）
易雪寒的博客
04-29 231
【代码】用Stream流方式合并两个list集合（部分对象属性重合）
Java中List＜T＞、List＜?＞、List＜Object＞、List＜E＞、List＜U＞的区别详解
wenxuankeji的博客
04-29 721
Java中List泛型的深入理解：List, List, List, List, List
链表经典面试题
最新发布
GOATLong的博客
05-02 1240
1.删除链表中等于给定值的所有结点1.删除链表中等于给定值的所有结点2.反转一个单链表这里我们需要在原链表中进行操作我们定义三个指针如下图所示：接下来就是改变l2指针的next指向l1之后l1指针走到l2，l2走到l3，l3走到l2的next，不断循环一直到l2为空指针这里有一个小细节如下图。
CST电磁仿真软件优化器和选择激励的使用【图文教程】
a18665053298的博客
04-28 637
局部优化算法适用于需要优化的变量数量少，Parameter取值范围小的优化，全局优化算法适用于需要优化的变量数量多，Parameter取值范围大的仿真优化，我们要根据实际情况选择最佳解决方案。在此对话框中勾选需要进行仿真的Port，也可以更改Port的Amplitude和Phase，还可以设置为依次激励还是同时激励。【TIP】设置simultaneous的状态下进行仿真时，因为不是依次计算各端口获取的传输特性，S-Parameter结果不会输出到Output，而是输出到F-Parameter。
ExcelUtil的导入导出
JackMa的博客
04-28 346
目标将excel文件的数据进行去重并且进行分组汇总，以下是代码编写的步骤。
增加虚拟机的内存和处理器资源
07-10
增加虚拟机的内存和处理器资源可以提高虚拟机的性能，包括网络性能。以下是在VirtualBox中增加虚拟机内存和处理器资源的步骤： 1. 关闭虚拟机：在更改虚拟机配置之前，确保虚拟机处于关闭状态。 2. 打开VirtualBox并选择要配置的虚拟机。 3. 点击"设置"按钮打开虚拟机的设置对话框。 4. 在左侧导航栏中选择"系统"选项卡。 5. 在"基本"选项卡下的"处理器"部分，可以增加虚拟机的处理器数量。注意，增加处理器数量可能需要满足主机的硬件要求。 6. 在"高级"选项卡下的"扩展特性"部分，可以增加虚拟机的内存大小。点击"启用PAE/NX"选项可以支持大于4GB的内存。 7. 调整内存大小时，请确保不要超过主机实际可用的内存大小，并考虑其他正在运行的虚拟机或应用程序所需的内存。 8. 确认设置后，点击"确定"保存更改并关闭设置对话框。 9. 启动虚拟机，并检查是否能够感受到性能改善。 增加虚拟机的内存和处理器资源可以提高虚拟机的性能，包括网络性能。请注意，增加资源可能会对主机产生影响，因此请确保主机有足够的资源供应。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值