Linux内存模型

Linux内存模型

 

理解 Linux 使用的内存模型是从更大程度上掌握 Linux 设计和实现的第一步，因此本文将概述 Linux 内存模型和管理。

与内存管理有关的主要问题有：

l  虚拟内存的管理，这是介于应用程序请求与物理内存之间的一个逻辑层。

l  物理内存的管理。

l  内核虚拟内存的管理/内核内存分配器，这是一个用来满足对内存的请求的组件。这种对内存的请求可能来自于内核，也可能来自于用户。

l  虚拟地址空间的管理。

l  交换和缓存。

本文探讨了以下问题，可以帮助您从操作系统中内存管理的角度来理解 Linux 的内幕：

 

l  段控制单元模型，通常专用于 Linux

l  分页模型，通常专用于 Linux

l  物理内存方面的知识

x86 架构中，内存被划分成 3 种类型的地址：

l  逻辑地址 (logical address) 是存储位置的地址，它可能直接对应于一个物理位置，也可能不直接对应于一个物理位置。逻辑地址通常在请求控制器中的信息时使用。

l  线性地址 (linear address) （或称为 平面地址空间）是从 0 开始进行寻址的内存。之后的每个字节都可顺序使用下一数字来引用（0、1、2、3 等），直到内存末尾为止。这就是大部分非 Intel CPU 的寻址方式。Intel® 架构使用了分段的地址空间，其中内存被划分成 64KB 的段，有一个段寄存器总是指向当前正在寻址的段的基址。这种架构中的 32 位模式被视为平面地址空间，不过它也使用了段。

l  物理地址 (physical address) 是使用物理地址总线中的位表示的地址。物理地址可能与逻辑地址不同，内存管理单元可以将逻辑地址转换成物理地址。

CPU 使用两种单元将逻辑地址转换成物理地址。第一种称为分段单元 (segmented unit)，另外一种称为分页单元 (paging unit)。

下面让我们来介绍一下段控制单元模型。

 

段控制单元模型概述

 

这种分段模型背后的基本思想是将内存分段管理。从本质上来说，每个段就是自己的地址空间。段由两个元素构成：

基址 (base address) 包含某个物理内存位置的地址

长度值 (length value) 指定该段的长度

分段地址还包括两个组件 —— 段选择器 (segment selector) 和段内偏移量 (offset into the segment)。段选择器指定了要使用的段（即基址和长度值），而段内偏移量组件则指定了实际内存位置相对于基址的偏移量。实际内存位置的物理地址就是这个基址值与偏移量之和。如果偏移量超过了段的长度，系统就会生成一个保护违例错误。

每个段都有一个 16 位的字段，称为段标识符 (segment identifier) 或段选择器 (segment selector)。x86 硬件包括几个可编程的寄存器，称为 段寄存器 (segment register)，段选择器保存于其中。这些寄存器为 cs（代码段）、ds（数据段）和 ss（堆栈段）。每个段标识符都代表一个使用 64 位（8 个字节）的段描述符 (segment descriptor) 表示的段。这些段描述符可以存储在一个 GDT（全局描述符表，global descriptor table）中，也可以存储在一个 LDT（本地描述符表，local descriptor table）中。

每次将段选择器加载到段寄存器中时，对应的段描述符都会从内存加载到相匹配的不可编程 CPU 寄存器中。每个段描述符长 8 个字节，表示内存中的一个段。这些都存储到 LDT 或 GDT 中。段描述符条目中包含一个指针和一个 20 位的值（Limit 字段），前者指向由 Base 字段表示的相关段中的第一个字节，后者表示内存中段的大小。

 

其他某些字段还包含一些特殊属性，例如优先级和段的类型（cs 或 ds）。段的类型是由一个 4 位的 Type 字段表示的。

 

由于我们使用了不可编程寄存器，因此在将逻辑地址转换成线性地址时不引用 GDT 或 LDT。这样可以加快内存地址的转换速度。

段选择器包含以下内容：

l  一个 13 位的索引，用来标识 GDT 或 LDT 中包含的对应段描述符条目

l  TI (Table Indicator) 标志指定段描述符是在 GDT 中还是在 LDT 中，如果该值是 0，段描述符就在 GDT 中；如果该值是 1，段描述符就在 LDT 中。

l  RPL (request privilege level) 定义了在将对应的段选择器加载到段寄存器中时 CPU 的当前特权级别。

由于一个段描述符的大小是 8 个字节，因此它在 GDT 或 LDT 中的相对地址可以这样计算：段选择器的高 13 位乘以 8。例如，如果 GDT 存储在地址 0x00020000 处，而段选择器的 Index 域是 2，那么对应的段描述符的地址就等于 (2*8) + 0x00020000。GDT 中可以存储的段描述符的总数等于 (2^13 - 1)，即 8191。

 

图 3 展示了从逻辑地址获得线性地址。

Linux 对这个模型稍微进行了修改。我注意到 Linux 以一种受限的方法来使用这种分段模型（主要是出于兼容性方面的考虑）。

 

在 Linux 中，所有的段寄存器都指向相同的段地址范围 —— 换言之，每个段寄存器都使用相同的线性地址。这使 Linux 所用的段描述符数量受限，从而可将所有描述符都保存在 GDT 之中。这种模型有两个优点：

 

l  当所有的进程都使用相同的段寄存器值时（当它们共享相同的线性地址空间时），内存管理更为简单。

l  在大部分架构上都可以实现可移植性。某些 RISC 处理器也可通过这种受限的方式支持分段。

 

Linux 使用以下段描述符：

l  内核代码段

l  内核数据段

l  用户代码段

l  用户数据段

l  TSS 段

l  默认 LDT 段

下面详细介绍这些段寄存器。 GDT 中的内核代码段 (kernel code segment) 描述符中的值如下：

l  Base = 0x00000000

l  Limit = 0xffffffff (2^32 -1) = 4GB

l  G（粒度标志）= 1，表示段的大小是以页为单位表示的

l  S = 1，表示普通代码或数据段

l  Type = 0xa，表示可以读取或执行的代码段

l  DPL 值 = 0，表示内核模式

与这个段相关的线性地址是 4 GB，S = 1 和 type = 0xa 表示代码段。选择器在 cs 寄存器中。Linux 中用来访问这个段选择器的宏是 _KERNEL_CS。

内核数据段 (kernel data segment) 描述符的值与内核代码段的值类似，惟一不同的就是 Type 字段值为 2。这表示此段为数据段，选择器存储在 ds 寄存器中。Linux 中用来访问这个段选择器的宏是 _KERNEL_DS。

用户代码段 (user code segment) 由处于用户模式中的所有进程共享。存储在 GDT 中的对应段描述符的值如下：

l  Base = 0x00000000

l  Limit = 0xffffffff

l  G = 1

l  S = 1

l  Type = 0xa，表示可以读取和执行的代码段

l  DPL = 3，表示用户模式

l  在 Linux 中，我们可以通过 _USER_CS 宏来访问此段选择器。

在用户数据段 (user data segment) 描述符中，惟一不同的字段就是 Type，它被设置为 2，表示将此数据段定义为可读取和写入。Linux 中用来访问此段选择器的宏是 _USER_DS。

除了这些段描述符之外，GDT 还包含了另外两个用于每个创建的进程的段描述符 —— TSS 和 LDT 段。

每个 TSS 段 (TSS segment) 描述符都代表一个不同的进程。TSS 中保存了每个 CPU 的硬件上下文信息，它有助于有效地切换上下文。例如，在 U->K 模式的切换中，x86 CPU 就是从 TSS 中获取内核模式堆栈的地址。

每个进程都有自己在 GDT 中存储的对应进程的 TSS 描述符。这些描述符的值如下：

l  Base = &tss （对应进程描述符的 TSS 字段的地址；例如 &tss_struct）这是在 Linux 内核的 schedule.h 文件中定义的

l  Limit = 0xeb （TSS 段的大小是 236 字节）

l  Type = 9 或 11

l  DPL = 0。用户模式不能访问 TSS。G 标志被清除

所有进程共享默认 LDT 段。默认情况下，其中会包含一个空的段描述符。这个默认 LDT 段描述符存储在 GDT 中。Linux 所生成的 LDT 的大小是 24 个字节。默认有 3 个条目：

LDT[0] = 空

LDT[1] = 用户代码段

LDT[2] = 用户数据/堆栈段描述符

 

分页模型概述

 

分页单元负责将线性地址转换成物理地址。线性地址会被分组成页的形式。这些线性地址实际上都是连续的 —— 分页单元将这些连续的内存映射成对应的连续物理地址范围（称为 页框）。注意，分页单元会直观地将 RAM 划分成固定大小的页框。

正因如此，分页具有以下优点：

l  为一个页定义的访问权限中保存了构成该页的整组线性地址的权限

l  页的大小等于页框的大小

将这些页映射成页框的数据结构称为页表 (page table)。页表存储在主存储器中，可由内核在启用分页单元之前对其进行恰当的初始化。

在 Linux 中，分页单元的使用多于分段单元。前面介绍 Linux 分段模型时已提到，每个分段描述符都使用相同的地址集进行线性寻址，从而尽可能降低使用分段单元将逻辑地址转换成线性地址的需要。通过更多地使用分页单元而非分段单元，Linux 可以极大地促进内存管理及其在不同硬件平台之间的可移植性。

下面让我们来介绍一下用于在 x86 架构中指定分页的字段，这些字段有助于在 Linux 中实现分页功能。分页单元进入作为分段单元输出结果的线性字段，然后进一步将其划分成以下 3 个字段：

l  Directory 以 10 MSB 表示（Most Significant Bit，也就是二进制数字中值最大的位的位置 —— MSB 有时称为最左位）。

l  Table 以中间的 10 位表示。

l  Offset 以 12 LSB 表示。（Least Significant Bit，也就是二进制整数中给定单元值的位的位置，即确定这个数字是奇数还是偶数。LSB 有时称为最右位。这与数字权重最轻的数字类似，它是最右边位置处的数字。）

线性地址到对应物理位置的转换的过程包含两个步骤。第一步使用了一个称为页目录 (Page Directory) 的转换表（从页目录转换成页表），第二步使用了一个称为页表 (Page Table) 的转换表（即页表加偏移量再加页框）。

开始时，首先将页目录的物理地址加载到 cr3 寄存器中。线性地址中的 Directory 字段确定页目录中指向恰当的页表条目。Table 字段中的地址确定包含页的页框物理地址所在页表中的条目。Offset 字段确定了页框中的相对位置。由于 Offset 字段为 12 位，因此每个页中都包含有 4 KB 数据。

 

下面小结物理地址的计算：

 

cr3 + Page Directory (10 MSB) = 指向 table_base

table_base + Page Table (10 中间位) = 指向 page_base

page_base + Offset = 物理地址 (获得页框)

由于 Page Directory 字段和 Page Table 段都是 10 位，因此其可寻址上限为 1024*1024 KB，Offset 可寻址的范围最大为 2^12（4096 字节）。因此，页目录的可寻址上限为 1024*1024*4096（等于 2^32 个内存单元，即 4 GB）。因此在 x86 架构上，总可寻址上限是 4 GB。

虽然 Linux 中的分页与普通的分页类似，但是 x86 架构引入了一种三级页表机制，包括：

页全局目录 (Page Global Directory)，即 pgd，是多级页表的抽象最高层。每一级的页表都处理不同大小的内存 —— 这个全局目录可以处理 4 MB 的区域。每项都指向一个更小目录的低级表，因此 pgd 就是一个页表目录。当代码遍历这个结构时（有些驱动程序就要这样做），就称为是在“遍历”页表。

页中间目录 (Page Middle Directory),即 pmd，是页表的中间层。在 x86 架构上，pmd 在硬件中并不存在，但是在内核代码中它是与 pgd 合并在一起的。

页表条目 (Page Table Entry)，即 pte，是页表的最低层，它直接处理页（参看 PAGE_SIZE），该值包含某页的物理地址，还包含了说明该条目是否有效及相关页是否在物理内存中的位。

为了支持大内存区域，Linux 也采用了这种三级分页机制。在不需要为大内存区域时，即可将 pmd 定义成“1”，返回两级分页机制。

分页级别是在编译时进行优化的，我们可以通过启用或禁用中间目录来启用两级和三级分页（使用相同的代码）。32 位处理器使用的是 pmd 分页，而 64 位处理器使用的是 pgd 分页。

在 64 位处理器中：

l  21 MSB 保留未用

l  13 LSB 由页面偏移量表示

其余的 30 位分为：

l  10 位用于页表

l  10 位用于页全局目录

l  10 位用于页中间目录

我们可以从架构中看到，实际上使用了 43 位进行寻址。因此在 64 位处理器中，可以有效使用的内存是 2 的 43 次方。

每个进程都有自己的页目录和页表。为了引用一个包含实际用户数据的页框，操作系统（在 x86 架构上）首先将 pgd 加载到 cr3 寄存器中。Linux 将 cr3 寄存器的内容存储到 TSS 段中。此后只要在 CPU 上执行新进程，就从 TSS 段中将另外一个值加载到 cr3 寄存器中。从而使分页单元引用一组正确的页表。

pgd 表中的每一条目都指向一个页框，其中中包含了一组 pmd 条目；pmd 表中的每个条目又指向一个页框，其中包含一组 pte 条目；pde 表中的每个条目再指向一个页框，其中包含的是用户数据。如果正在查找的页已转出，那么就会在 pte 表中存储一个交换条目，（在缺页的情况下）以定位将哪个页框重新加载到内存中。

上图说明我们连续为各级页表添加偏移量来映射对应的页框条目。我们通过进入作为分段单元输出的线性地址，再划分该地址来获得偏移量。要将线性地址划分成对应的每个页表元素，需要在内核中使用不同的宏。

Linux 为内核代码和数据结构预留了几个页框。这些页永远不会被转出到磁盘上。从 0x0 到 0xc0000000 （PAGE_OFFSET） 的线性地址可由用户代码和内核代码进行引用。从 PAGE_OFFSET 到 0xffffffff 的线性地址只能由内核代码进行访问。 这意味着在 4 GB 的内存空间中，只有 3 GB 可以用于用户应用程序。

Linux 进程使用的分页机制包括两个阶段：

l  在启动时，系统为 8 MB 的物理内存设置页表。

l  然后，第二个阶段完成对其余物理地址的映射。

在启动阶段，startup_32() 调用负责对分页机制进行初始化。arch/i386/kernel/head.S 文件中实现。这 8 MB 的映射发生在 PAGE_OFFSET 之上的地址中。这种初始化是通过一个静态定义的编译时数组 (swapper_pg_dir) 开始的。在编译时它被放到一个特定的地址（0x00101000）。

这种操作为在代码中静态定义的两个页 —— pg0 和 pg1 —— 建立页表。这些页框的大小默认为 4 KB，除非我们设置了页大小扩展位（有关 PSE 的更多内容，请参阅 扩展分页 一节）。这个全局数组所指向的数据地址存储在 cr3 寄存器中，我认为这是为 Linux 进程设置分页单元的第一阶段。其余的页项是在第二阶段中完成的。 第二阶段由方法调用 paging_init() 来完成。

在 32 位的 x86 架构上，RAM 映射到 PAGE_OFFSET 和由 4GB 上限 (0xFFFFFFFF) 表示的地址之间。这意味着大约有 1 GB 的 RAM 可以在 Linux 启动时进行映射，这种操作是默认进行的。然而，如果有人设置了 HIGHMEM_CONFIG，那么就可以将超过 1 GB 的内存映射到内核上 —— 切记这是一种临时的安排。可以通过调用 kmap() 实现。我已经向您展示了（32 位架构上的） Linux 内核按照 3:1 的比率来划分虚拟内存：3 GB 的虚拟内存用于用户空间，1 GB 的内存用于内核空间。内核代码及其数据结构都必须位于这 1 GB 的地址空间中，但是对于此地址空间而言，更大的消费者是物理地址的虚拟映射。

之所以出现这种问题，是因为若一段内存没有映射到自己的地址空间中，那么内核就不能操作这段内存。因此，内核可以处理的最大内存总量就是可以映射到内核的虚拟地址空间减去需要映射到内核代码本身上的空间。结果，一个基于 x86 的 Linux 系统最大可以使用略低于 1 GB 的物理内存。

 

为了迎合大量用户的需要，支持更多内存、提高性能，并建立一种独立于架构的内存描述方法，Linux 内存模型就必须进行改进。为了实现这些目标，新模型将内存划分成分配给每个 CPU 的空间。每个空间都称为一个 节点；每个节点都被划分成一些 区域。区域（表示内存中的范围）可以进一步划分为以下类型：

 

l  ZONE_DMA（0-16 MB）：包含 ISA/PCI 设备需要的低端物理内存区域中的内存范围。

l  ZONE_NORMAL（16-896 MB）：由内核直接映射到高端范围的物理内存的内存范围。所有的内核操作都只能使用这个内存区域来进行，因此这是对性能至关重要的区域。

l  ZONE_HIGHMEM（896 MB 以及更高的内存）：系统中内核不能映像到的其他可用内存。

节点的概念在内核中是使用 struct pglist_data 结构来实现的。区域是使用 struct zone_struct 结构来描述的。物理页框是使用 struct Page 结构来表示的，所有这些 Struct 都保存在全局结构数组 struct mem_map 中，这个数组存储在 NORMAL_ZONE 的开头。

当实现了对 Pentium II 的虚拟内存扩展的支持（在 32 位系统上使用 PAE —— Physical Address Extension —— 可以访问 64 GB 的内存）和对 4 GB 的物理内存（同样是在 32 位系统上）的支持时，高端内存区域就会出现在内核内存管理中了。这是在 x86 和 SPARC 平台上引用的一个概念。通常这 4 GB 的内存可以通过使用 kmap() 将 ZONE_HIGHMEM 映射到 ZONE_NORMAL 来进行访问。请注意在 32 位的架构上使用超过 16 GB 的内存是不明智的，即使启用了 PAE 也是如此。

（PAE 是 Intel 提供的内存地址扩展机制，它通过在宿主操作系统中使用 Address Windowing Extensions API 为应用程序提供支持，从而让处理器将可以用来寻址物理内存的位数从 32 位扩展为 36 位。）

这个物理内存区域的管理是通过一个 区域分配器（zone allocator） 实现的。它负责将内存划分为很多区域；它可以将每个区域作为一个分配单元使用。每个特定的分配请求都利用了一组区域，内核可以从这些位置按照从高到低的顺序来进行分配。

例如：

l  对于某个用户页面的请求可以首先从“普通”区域中来满足（ZONE_NORMAL）；

l  如果失败，就从 ZONE_HIGHMEM 开始尝试；

l  如果这也失败了，就从 ZONE_DMA 开始尝试。

这种分配的区域列表依次包括 ZONE_NORMAL、ZONE_HIGHMEM 和 ZONE_DMA 区域。另一方面，对于 DMA 页的请求可能只能从 DMA 区域中得到满足，因此这种请求的区域列表就只包含 DMA 区域。

 

内存管理是一组非常庞大、复杂且耗时的任务，也是一个非常难以实现的任务，因为我们需要精雕细琢出一个模型，设计好系统如何在真实的多程序的环境中进行操作，这是一项非常艰难的工作。诸如调度、分页行为和多进程的交互组件都向我们提出了相当难度的挑战。