硬件设备及操作系统发展至今,在32位架构上内存依然是珍馐(64位理论上不存在紧缺问题),了解内存如何映射及内存结构是我们做内存优化等深入的基石。下面以32位x86架构的4GB内存为例:
地址空间
地址空间其实是一个比较抽象的概念,我们可以把它想象成一个长的数组,每个数组元素占一个字节。那么这个数组的长度就由地址空间长度来决定。例如:我们32位的系统的地址空间就是我们的2^32字节(4GB),而64位的地址空间大小就是2^64个字节。这也就解释了在我们32位的操作系统,为什么最大只能支持4GB的有效内存。
虚拟地址
在早期的计算机中,程序是直接运行到物理内存上的。也就是说,程序运行的时候直接访问的就是物理地址。如果同时运行多个进程,这时候容易引起很多问题:
1.进程地址空间内存不隔离:由于程序都是直接访问物理内存,所以恶意程序可以随意修改别的进程的内存数据,以达到破坏的目的。非恶意的如果出现bug,对其他内存做了修改可能导致其他程序出问题
2.内存使用效率低:物理内存不足情况下,会触发系统将低优先级的内存占用移入物理硬盘上,以释放出足够的内存供高优先级进程使用,期间会产生很多的io操作,产生很多阻塞操作。
3.程序运行的地址不确定。当内存中的剩余空间可以满足新程序的启动,操作系统会在剩余空间中随机分配一段连续空间给新程序,因为是随机分配的,所以程序运行的地址是不确定的。但是某些硬件是需要在固定的地址上去开始运行的,如果这个地址被我们的程序占有,那么我们对这块内存的修改,就可能导致某些硬件不可用了。
基于上述原因,业界采取了引入中间层的方式解决--虚拟地址。Linux操作系统为了充分利用和管理系统内存资源,采用虚拟内存管理技术。利用虚拟内存技术让每个进程都有4GB
互不干涉的虚拟地址空间,而且空间是连续的。
进程初始化分配和操作的都是基于「虚拟地址」,只有当进程需要实际访问内存资源的时候才会建立虚拟地址和物理地址的映射,调入物理内存页。虚拟地址可以解决:
1.避免用户直接访问物理内存地址,防止一些破坏性操作,保护操作系统
2.每个进程都被分配了4GB的虚拟内存,用户程序可使用比实际物理内存更大的地址空间
物理地址
上面我们已经知道不管是用户空间还是内核空间,使用的地址都是虚拟地址,当需进程要实际访问内存的时候,会由内核的「请求分页机制」产生「缺页异常」调入物理内存页。
把虚拟地址转换成内存的物理地址,这中间涉及利用MMU 内存管理单元(Memory Management Unit ) 对虚拟地址分段和分页(段页式)地址转换,关于分段和分页的具体流程,这里不再赘述,可以参考任何一本计算机组成原理教材描述。
Linux 内核会将物理内存分为3个管理区,分别是ZONE_DMA,ZONE_NORMAL,ZONE_HIGHMEM。
DMA内存区域。包含0MB~16MB之间的内存页框,可以由老式基于ISA的设备通过DMA使用,直接映射到内核的地址空间。
普通内存区域。包含16MB~896MB之间的内存页框,常规页框,直接映射到内核的地址空间。
高端内存区域。包含896MB以上的内存页框,不进行直接映射,可以通过永久映射和临时映射进行这部分内存页框的访问。
用户空间
用户进程能访问的是「用户空间」,每个进程都有自己独立的用户空间,虚拟地址范围从从 0x00000000
至 0xBFFFFFFF
总容量3G 。
用户进程通常只能访问用户空间的虚拟地址,只有在执行内陷操作或系统调用时才能访问内核空间。
进程与内存
进程(执行的程序)占用的用户空间按照「 访问属性一致的地址空间存放在一起 」的原则,划分成 5个不同的内存区域。访问属性指的是“可读、可写、可执行等
- 代码段:代码段是用来存放可执行文件的操作指令,可执行程序在内存中的镜像。代码段需要防止在运行时被非法修改,所以只准许读取操作,它是不可写的。
- 数据段:数据段用来存放可执行文件中已初始化全局变量,换句话说就是存放程序静态分配的变量和全局变量。
- BSS段:
BSS
段包含了程序中未初始化的全局变量,在内存中bss
段全部置零。 - 堆:堆是用于存放进程运行中被动态分配的内存段,它的大小并不固定,可动态扩张或缩减。当进程调用malloc等函数分配内存时,新分配的内存就被动态添加到堆上(堆被扩张);当利用free等函数释放内存时,被释放的内存从堆中被剔除(堆被缩减)
- 栈:栈是用户存放程序临时创建的局部变量,也就是函数中定义的变量(但不包括
static
声明的变量,static意味着在数据段中存放变量)。除此以外,在函数被调用时,其参数也会被压入发起调用的进程栈中,并且待到调用结束后,函数的返回值也会被存放回栈中。由于栈的先进先出特点,所以栈特别方便用来保存/恢复调用现场。从这个意义上讲,我们可以把堆栈看成一个寄存、交换临时数据的内存区。
上述几种内存区域中数据段、BSS
段、堆通常是被连续存储在内存中,在位置上是连续的,而代码段和栈往往会被独立存放。堆和栈两个区域在 i386
体系结构中栈向下扩展、堆向上扩展,相对而生。
内核空间
在 32
位系统里,Linux 内核地址空间是指虚拟地址从 0xC0000000
开始到 0xFFFFFFFF
为止的高端内存地址空间,总计 1G
的容量, 包括了内核镜像、物理页面表、驱动程序等运行在内核空间 。内核空间细分区域:
直接映射区
直接映射区 Direct Memory Region:从内核空间起始地址开始,最大896M的内核空间地址区间为直接内存映射区。
直接映射区的896MB的「线性地址」直接与「物理地址」的前896MB进行映射,也就是说线性地址和分配的物理地址都是连续的。内核地址空间的线性地址0xC0000001所对应的物理地址为0x00000001,它们之间相差一个偏移量PAGE_OFFSET = 0xC0000000
该区域的线性地址和物理地址存在线性转换关系「线性地址 = PAGE_OFFSET + 物理地址」也可以用 virt_to_phys()函数将内核虚拟空间中的线性地址转化为物理地址。
高端内存线性地址空间
内核空间线性地址从 896M 到 1G 的区间,容量 128MB 的地址区间是高端内存线性地址空间,为什么叫高端内存线性地址空间?下面给你解释一下:
前面已经说过,内核空间的总大小 1GB,从内核空间起始地址开始的 896MB 的线性地址可以直接映射到物理地址大小为 896MB 的地址区间。
退一万步,即使内核空间的1GB线性地址都映射到物理地址,那也最多只能寻址 1GB 大小的物理内存地址范围,但现在的物理地址基本都超过了1GB。所以内核空间拿出了最后的 128M 地址区间,划分成下面三个高端内存映射区,以达到对整个物理地址范围的寻址。而在 64 位的系统上就不存在这样的问题了,因为可用的线性地址空间远大于可安装的内存。
动态内存映射区
vmalloc Region
该区域由内核函数vmalloc
来分配,特点是:线性空间连续,但是对应的物理地址空间不一定连续。其分配的线性地址所对应的物理页可能处于低端内存,也可能处于高端内存。
永久内存映射区
Persistent Kernel Mapping Region
该区域可访问高端内存。访问方法是使用 alloc_page (_GFP_HIGHMEM)
分配高端内存页或者使用kmap
函数将分配到的高端内存映射到该区域。
固定映射区
Fixing kernel Mapping Region
该区域和 4G 的顶端只有 4k 的隔离带,其每个地址项都服务于特定的用途,如 ACPI_BASE
等。
内核空间物理内存映射:
总结
前面我们讲了地址空间的分布,虚拟地址及物理地址的映射区域,下面是全览图: