1. 段页式内存管理
内存分段和内存分页并不是对立的,它们是可以组合起来在同一个系统中使用的,那么组合起来后,通常称为段页式内存管理。
段页式地址空间
段页式内存管理实现的方式:
- 先将程序划分为多个有逻辑意义的段,也就是前面提到的分段机制;
- 接着再把每个段划分为多个页,也就是对分段划分出来的连续空间,再划分固定大小的页;
这样,地址结构就由段号、段内页号和页内位移三部分组成。
用于段页式地址变换的数据结构是每一个程序一张段表,每个段又建立一张页表,段表中的地址是页表的起始地址,而页表中的地址则为某页的物理页号,如图所示:
段页式管理中的段表、页表与内存的关系
段页式地址变换中要得到物理地址须经过三次内存访问:
- 第一次访问段表,得到页表起始地址;
- 第二次访问页表,得到物理页号;
- 第三次将物理页号与页内位移组合,得到物理地址。
可用软、硬件相结合的方法实现段页式地址变换,这样虽然增加了硬件成本和系统开销,但提高了内存的利用率。
2. linux内存管理
那么,Linux 操作系统采用了哪种方式来管理内存呢?
在回答这个问题前,我们得先看看 Intel 处理器的发展历史。
早期 Intel 的处理器从 80286 开始使用的是段式内存管理。但是很快发现,光有段式内存管理而没有页式内存管理是不够的,这会使它的 X86 系列会失去市场的竞争力。因此,在不久以后的 80386 中就实现了对页式内存管理。也就是说,80386 除了完成并完善从 80286 开始的段式内存管理的同时还实现了页式内存管理。
但是这个 80386 的页式内存管理设计时,没有绕开段式内存管理,而是建立在段式内存管理的基础上,这就意味着,页式内存管理的作用是在由段式内存管理所映射而成的地址上再加上一层地址映射。
由于此时由段式内存管理映射而成的地址不再是“物理地址”了,Intel 就称之为“线性地址”(也称虚拟地址)。于是,段式内存管理先将逻辑地址映射成线性地址,然后再由页式内存管理将线性地址映射成物理地址。
这里说明下逻辑地址和线性地址:
- 程序所使用的地址,通常是没被段式内存管理映射的地址,称为逻辑地址;
- 通过段式内存管理映射的地址,称为线性地址,也叫虚拟地址;
逻辑地址是「段式内存管理」转换前的地址,线性地址则是「页式内存管理」转换前的地址。
了解完 Intel 处理器的发展历史后,我们再来说说 Linux 采用了什么方式管理内存?
Linux 内存主要采用的是页式内存管理,但同时也不可避免地涉及了段机制。
这主要是上面 Intel 处理器发展历史导致的,因为 Intel X86 CPU 一律对程序中使用的地址先进行段式映射,然后才能进行页式映射。既然 CPU 的硬件结构是这样,Linux 内核也只好服从 Intel 的选择。
但是事实上,Linux 内核所采取的办法是使段式映射的过程实际上不起什么作用。也就是说,“上有政策,下有对策”,若惹不起就躲着走。
Linux 系统中的每个段都是从 0 地址开始的整个 4GB 虚拟空间(32 位环境下),也就是所有的段的起始地址都是一样的。这意味着,Linux 系统中的代码,包括操作系统本身的代码和应用程序代码,所面对的地址空间都是线性地址空间(虚拟地址),这种做法相当于屏蔽了处理器中的逻辑地址概念,段只被用于访问控制和内存保护。
我们再来瞧一瞧,Linux 的虚拟地址空间是如何分布的?
在 Linux 操作系统中,虚拟地址空间的内部又被分为内核空间和用户空间两部分,不同位数的系统,地址空间的范围也不同。比如最常见的 32 位和 64 位系统,如下所示:
用户空间与内存空间
通过这里可以看出:
32
位系统的内核空间占用1G
,位于最高处,剩下的3G
是用户空间;64
位系统的内核空间和用户空间都是128T
,分别占据整个内存空间的最高和最低处,剩下的中间部分是未定义的。
再来说说,内核空间与用户空间的区别:
- 进程在用户态时,只能访问用户空间内存;
- 只有进入内核态后,才可以访问内核空间的内存;
虽然每个进程都各自有独立的虚拟内存,但是每个虚拟内存中的内核地址,其实关联的都是相同的物理内存。这样,进程切换到内核态后,就可以很方便地访问内核空间内存。
每个进程的内核空间都是一致的
接下来,进一步了解虚拟空间的划分情况,用户空间和内核空间划分的方式是不同的,内核空间的分布情况就不多说了。
我们看看用户空间分布的情况,以 32 位系统为例,我画了一张图来表示它们的关系:
虚拟内存空间划分
通过这张图你可以看到,用户空间内存,从低到高分别是 7 种不同的内存段:
- 程序文件段,包括二进制可执行代码;
- 已初始化数据段,包括静态常量;
- 未初始化数据段,包括未初始化的静态变量;
- 堆段,包括动态分配的内存,从低地址开始向上增长;
- 文件映射段,包括动态库、共享内存等,从低地址开始向上增长(跟硬件和内核版本有关);
- 栈段,包括局部变量和函数调用的上下文等。栈的大小是固定的,一般是
8 MB
。当然系统也提供了参数,以便我们自定义大小;
在这 7 个内存段中,堆和文件映射段的内存是动态分配的。比如说,使用 C 标准库的 malloc()
或者 mmap()
,就可以分别在堆和文件映射段动态分配内存。
3. 一个实际的段页式内存管理例子
程序放入内存首先就是要在虚拟内存中给它分配段、建立段表,然后是分配页、建立页表;注意先后关系。
第一步:在虚拟内存上分配段;如何分配呢?首先肯定是得找到空闲的段,如何找,可以使用前面谈到过的内存分区方法。
第二步:将用户程序映射到虚拟内存,建立段表,然后分配页,建立页表。
3.1 分配内存、建立段表
创建进程使用的是fork()系统调用,fork()调用首先是sys_fork->copy_process。
在Linux/kernel/fork.c
int copy_process(int nr, long ebp...)
{
………………
copy_mem(nr,p);
………………
}
int copy_mem(int nr, task_struct *p)
{
unsigned long new_data_base;
new_data_base = nr*0x4000000; // nr * 64M
set_base(p_>ldt[1], new_data_base); // 代码段
set_base(p->ldt[2], new_data_base); // 数据段
………………
}
上面是fork()建立一个进程执行的代码。进入copy_process后,在copy_process中调用copy_men();这个函数就是给该进程在虚拟内存上分配内存空间的,形参nr和p分别表示:第nr个进程和该进程的pcb。ldt表示的是段表。
new_data_base = nr*0x4000000; // nr * 64M
首先给该进程在虚拟内存上分配一块64M的内存块。可以看到第0个进程内存区域就是0 ~ 64M,第一个进程64~128M,依次类推,互不重叠。然后将p的ldt[1]和ldt[2]都指向这块内存。如下图
这里的ldt[1]和ldt[2]指的是数据段和代码段,这里的数据段和代码段。到这里为止,在虚拟内存上分配内存、建立段表就弄好了。
3.2 分配内存、建立页表
接下来就是分配内存、建立页表。还是上面那个copy_mem()函数。
int copy_mem(int nr, task_struct *p)
{
unsigned long old_data_base;
old_data_base = get_base(currnet->ldt[2]);
copy_page_tables(old_data_base, new_data_base, data_limit);
………………
}
int copy_page_tables(unsigned long from, unsigned long to , long size)
{
from_dir = (unsigned long *) ((from>>20) & 0xffc);
to_dir = (unsigned long * )((to>>20) & 0xffc);
size = (unsigned long)(size + 0x3fffff) >> 22;
for (; size-->0; from_dir++, to_dir++)
{
from_page_table=(0xfffff000 & *from_dir);
to_page_table = get_free_page();
*to_dir = ((unsigned long) to_page_table) | 7;
}
}
首先看copy_mem函数
old_data_base = get_base(currnet->ldt[2]);
这条语句的含义就是得到当前进程的虚拟内存地址赋给old_data_base;然后调用copy_page_tables()函数,首先from和to是什么?从形参以及copy_mem里面的调用可以看出,这两个都是32为虚拟内存地址。from_dir指向一个父进程的页目录项(章),to_dir指向一个子进程的页目录项(章)。前面说过了32位虚拟内存地址的构成如下图。
from_dir = (unsigned long *) ((from>>20) & 0xffc);
这句话是什么意思?from右移22位得到的是页目录号,但是
(from>>20) & 0xffc
是什么意思。回想一下多级页表的工作原理,from>>22得到的是目录项编号,每一项都是4字节,即from>>22之后乘以4就得到该项的相对于页目录指针(CR3)的偏移了,也就是可以找到具体的页目录号。而from>>22乘以4不正好是(from>>20) & 0xffc吗。
size就是页目录项数(章数)。
for (; size-->0; from_dir++, to_dir++)
{
from_page_table=(0xfffff000 & *from_dir);
to_page_table = get_free_page();
*to_dir = ((unsigned long) to_page_table) | 7;
}
前面说过from_dir指向一个父进程的页目录项(章),那么*from_dir就是from_dir对应的那个页目录表(节),也就是from_page_table的含义。get_free_page()新建一个子进程的页目录表(节);然后将这个页目录表赋给to_dir,但是to_dir指向的这个表里面的内容还是空的,接下来就是要将这个表填上
for (; nr-->0; from_page_table++, to_page_table++)
{
this_page = *from_page_table;
this_page &= ~2; // 设置为只读
*to_page_table = this_page;
*from_page_table = this_page;
this_page -= LOW_MEN;
this->page >>= 12;
mem_map[this_page]++;
}
主要就是看这一段
this_page = *from_page_table;
this_page &= ~2; // 设置为只读
*to_page_table = this_page;
这三句的含义就是将父进程的from_page_table赋值给子进程的to_page_table,并且将对应的页设置为只读。这也是前面说的为什么不用为子进程找空闲页,因为子进程用的就是父进程的内存。为什么要设置为只读属性?两个进程共享同一块内存,如果都是读,没有任何问题,但是如何要写呢?那么就出问题了;因此要设置为只读。到这里分配物理页、建立页表就说完了。
3.3 MMU处理
到目前为止,分配内存、建立段表,分配内存、建立页表都讲完了。程序就可以正确的存储到物理内存了。接下来程序执行的时候只需要根据这两张表找到对应的内存就好了;当然如果查这两张表的操作全部由软件来实现的话就要浪费很多时间了,因此计算机将查表的操作交给硬件来完成,只要从用户程序那里得到CS:IP,硬件会自动得到该逻辑地址对应的物理地址的,这个硬件就是MMU。
4. 总结
为了在多进程环境下,使得进程之间的内存地址不受影响,相互隔离,于是操作系统就为每个进程独立分配一套虚拟地址空间,每个程序只关心自己的虚拟地址就可以,实际上大家的虚拟地址都是一样的,但分布到物理地址内存是不一样的。作为程序,也不用关心物理地址的事情。
每个进程都有自己的虚拟空间,而物理内存只有一个,所以当启用了大量的进程,物理内存必然会很紧张,于是操作系统会通过内存交换技术,把不常使用的内存暂时存放到硬盘(换出),在需要的时候再装载回物理内存(换入)。
那既然有了虚拟地址空间,那必然要把虚拟地址「映射」到物理地址,这个事情通常由操作系统来维护。
那么对于虚拟地址与物理地址的映射关系,可以有分段和分页的方式,同时两者结合都是可以的。
内存分段是根据程序的逻辑角度,分成了栈段、堆段、数据段、代码段等,这样可以分离出不同属性的段,同时是一块连续的空间。但是每个段的大小都不是统一的,这就会导致内存碎片和内存交换效率低的问题。
于是,就出现了内存分页,把虚拟空间和物理空间分成大小固定的页,如在 Linux 系统中,每一页的大小为 4KB
。由于分了页后,就不会产生细小的内存碎片。同时在内存交换的时候,写入硬盘也就一个页或几个页,这就大大提高了内存交换的效率。
再来,为了解决简单分页产生的页表过大的问题,就有了多级页表,它解决了空间上的问题,但这就会导致 CPU 在寻址的过程中,需要有很多层表参与,加大了时间上的开销。于是根据程序的局部性原理,在 CPU 芯片中加入了 TLB,负责缓存最近常被访问的页表项,大大提高了地址的转换速度。
Linux 系统主要采用了分页管理,但是由于 Intel 处理器的发展史,Linux 系统无法避免分段管理。于是 Linux 就把所有段的基地址设为 0
,也就意味着所有程序的地址空间都是线性地址空间(虚拟地址),相当于屏蔽了 CPU 逻辑地址的概念,所以段只被用于访问控制和内存保护。
另外,Linxu 系统中虚拟空间分布可分为用户态和内核态两部分,其中用户态的分布:代码段、全局变量、BSS、函数栈、堆内存、映射区。