linux按进程分配物理内存,linux下内存管理学习心得（一）-CSDN博客

最近在学习内存管理的时候，发现对linux下的所谓内存如何管理如何分配都不熟悉，通过最近的查阅资料可总结如下，如有不妥之处欢迎大家批评与指正。

总的的来说linux的内存管理其实主要难理解的是以下几个部分：

1、虚拟地址、物理地址、线性地址、逻辑地址之间的区别。

2、用户地址空间与内核地址空间区别。

3、内核如何分配所谓的地址。

4、一个可执行程序的地址分布以及运行地址分配。

目前我也大概总结这几个，其实这方面的知识肯定很多，但限于能力只能如何，也尽最大努力详细分析其中原委。注：很多是参考了网上的大牛总结的。

一、各地址之间区别

1、虚拟地址

其中各种地址的概念大家都可查阅到，我也就不多说了，虚拟地址就是为了给用户一个更大的使用空间(当然这个使用空间肯定是虚拟了的)，然后32位下面用户地址空间也就是虚拟地址空间范围就是0--4GB。其中这个范围又可以划为0--3GB-1用户空间和3GB--4GB-1的内核空间。其中进程都各自有各自的0--3GB-1地址范围而共享3GB--4GB-1的内核空间。更详细的请往下此处不讲为了大家先有个宏观的认识。

2、物理地址

物理地址肯定就是我们的实实在在的内存了，内存有大有小，256MB，2GB的等，其中大家一开始都有个疑问，仅仅这么小的内存如何给那么多的进程使用，因为我们知道CUP是用过读取内存里面的代码来执行程序的，也就是说我们的程序都是在内存中的，那么大家又想问一个很大游戏如何装载进去？多个进程又是如何运行的了？上面也说了每个进程不是都各自有4GB空间吗？

其实答案就是进程调度(此处不讲)

实质上进程各自有各自的地址空间是没错的，但是这个地址我们也提到了这只是个虚拟的地址空间。我们可以写可以mov等，但都是虚拟的，不是实实在在的。实实在在的仅仅指物理地址。如何完全跑裸机的话那么用的地址那肯定就是实实在在的物理地址了。可以说物理地址就是一个死的东西，它放在那里谁想用你就用去，它不管你用来干嘛。

3、逻辑地址

程序代码经过编译后在汇编程序中使用的地址。

所以说这个与物理地址之间就存在一个映射的关系，怎么个映射呢？那么必须要提到分页，分段，MMU了。

其中linux下没有分段，因为段地址为0，取代的是采用了4级分页。

4、线性地址

线性地址又名虚拟地址，在上面也已经介绍过了，进程使用的都是这种线性地址。

这几种地址之间的关系：

CUP要将一个逻辑地址转化为物理地址，需要两步：首先CUP利用段式内存管理单元，将逻辑地址转换成线性地址(虚拟地址)，再利用页式内存管理单元，把线性地址最终转化为物理地址。

首先先提一下页表的概念，为了从管理和效率的角度出发，线性地址(虚拟地址)被分为固定长度的组，称为页，页页有大小，比如4KB。还有另一种页，称之为物理页，或者说页框，页帧。分页单元把所有的物理内存也划分为固定长度的管理长度，一般与线性地址的页相同。下面是从线性地址到物理地址的页表装换：

1、分页单元中，页目录的地址放在CUP的CR3寄存器中，是进行抵制转换的开始点。

2、每个进程，都有其独立的虚拟地址空间，运行一个进程，首先需要将它的页目录地址放在CR3寄存器中，其他的进程的保存下来。

3、每一个32位的线性地址被划分为三部分：页目录索引(10位)：页表索引(10位)：偏移12位。

装换：

1、先装入进程的页目录地址(调度程序把这个地址装入CR3中)；

2、根据线性地址前10位，在页目录中找到对应的索引项，页目录中的项是一个页表的地址；

3、根据线性地址的中间10位，在页表中找到页的起始地址；

4、将页的起始地址与线性地址的最后12为偏移地址相加最后为物理地址。

二、用户地址与内核地址

Linux 操作系统和驱动程序运行在内核空间，应用程序运行在用户空间，两者不能简单地使用指针传递数据，因为Linux使用的虚拟内存机制，用户空间的数据可能被换出，当内核空间使用用户空间指针时，对应的数据可能不在内存中。

其中内核地址空间是由内核负责映射，它并不会跟着进程改变，是固定的。其中内核空间分布如下：

(1)直接内存映射区

从3G开始，最大896M的线性地址区间，我们称作直接内存映射区，这是因为该区域的线性地址和物理地址之间存在线性装换关系：线性地址=3G+物理地址

(2)动态内存映射区

又内核函数vmalloc来进行分配，其特点是线性空间连续，但物理地址空间不一定连续。

(3)永久内存映射区

使用kmap函数将分配到得896M以上的高端内存映射到该区

(4)固定映射区

特殊用途

用户空间

用户空间是0-3GB-1的空间范围。这里就提前说一下程序镜像加载到运行的过程。

首先二进制程序是放在外部存储器中的，当启动一个进程的时候先分配自己进程的虚拟空间，这个时候将程序镜像加载到内存(具体内核过程下面介绍)，如何镜像很大的话先加载一部分(这部分是多大？我还不清楚有待研究)，然后这个时候进程的空间就会映射(一定注意是映射，因为根本就没有这样的地址，这只是个虚的)，此时该进程好像有了这个镜像了，那么进程执行的时候根据线性地址找到物理地址(内存)中的代码执行。就是这么简单。

三、内核分配内存

在linux操作系统中，每个进程都通过一个task_struct的结构体描叙，每个进程的地址空间都通过一个mm_struct描叙，c语言中的每个段空间都通过vm_area_struct表示，他们关系如下 :

当运行一个程序时，操作系统需要创建一个进程，这个进程和程序之间都干了些什么呢？

当一个程序被执行时，该程序的内容必须被放到进程的虚拟地址空间，对于可执行程序的共享库也是如此。可执行程序并非真正读到物理内存中，而只是链接到进程的虚拟内存中。

当一个可执行程序映射到进程虚拟地址空间时，一组vm_area_struct数据结构将被产生。每个vm_area_struct数据结构表示可执行印象的一部分;是可执行代码，或是初始化的数据，以及未初始化的数据等。

linux操作系统是通过sys_exec对可执行文件进行映射以及读取的，有如下几步：

1.创建一组vm_area_struct

2.圈定一个虚拟用户空间，将其起始结束地址(elf段中已设置好)保存到vm_start和vm_end中。

3.将磁盘file句柄保存在vm_file中

4.将对应段在磁盘file中的偏移值(elf段中已设置好)保存在vm_pgoff中;

5.将操作该磁盘file的磁盘操作函数保存在vm_ops中

注意：这里没有对应的页目录表项创建页表，更不存在设置页表项了。

假设现在程序中有一条指令需要读取上面vm_start--vm_end之间的某内容

例如:mov [0x08000011],%eax,那么将会执行如下序列:

1.cpu依据CR3(current->pgd)找到0x08000011地址对应的pgd[i],由于该pgd[i]内容保持为初始化状态即为0,导致cpu异常.

2.do_page_fault被调用，在该函数中，为pgd[i]在内存中分配一个页表，并让该表项指向它，如下图所示:

注意：这里i为0x08000011高10位，j为其中间10位，此时pt表项全部为0(pte[j]也为0);

3.为pte[j]分配一个真正的物理内存页面，依据vm_area_struct中的vm_file、vm_pgoff和vm_ops，调用filemap_nopage将磁盘file中vm_pgoff偏移处的内容读入到该物理页面中，如下图所示：

①。分配物理内存页面;

②。从磁盘文件中将内容读取到物理内存页面中

从上面我们可以知道，在进程创建的过程中，程序内容被映射到进程的虚拟内存空间，为了让一个很大的程序在有限的物理内存空间运行，我们可以把这个程序的开始部分先加载到物理内存空间运行，因为操作系统处理的是进程的虚拟地址，如果在进行虚拟到物理地址的转换工程中，发现物理地址不存在时，这个时候就会发生缺页异常(nopage)，接着操作系统就会把磁盘上还没有加载到内存中的数据加载到物理内存中，对应的进程页表进行更新。也许你会问，如果此时物理内存满了，操作系统将如何处理？

下面我们看看linux操作系统是如何处理的：

如果一个进程想将一个虚拟页装入物理内存，而又没有可使用的空闲物理页，操作系统就必须淘汰物理内存中的其他页来为此页腾出空间。

在linux操作系统中，物理页的描叙如下：

struct mem_map

{

1.本页使用计数，当该页被许多进程共享时计数将大于1.

2.age描叙本页的年龄，用来判断该页是否为淘汰或交换的好候选

3.map_nr描叙物理页的页帧号

}

如果从物理内存中被淘汰的页来自于一个映像或数据文件，并且还没有被写过，则该页不必保存，它可以丢掉。如果有进程在需要该页时就可以把它从映像或数据文件中取回内存。[page]

然而，如果该页被修改过，操作系统必须保留该页的内容以便晚些时候在被访问。这种页称为"脏(dirty)页"，当它被从内存中删除时，将被保存在一个称为交换文件的特殊文件中。

相对于处理器和物理内存的速度，访问交换文件要很长时间，操作系统必须在将页写到磁盘以及再次使用时取回内存的问题上花费心机。

如果用来决定哪一页被淘汰或交换的算法不够高效的话，就可能出现称为"抖动"的情况。在这种情况下，页面总是被写到磁盘又读回来，操作系统忙于此而不能进行真正的工作。

linux使用"最近最少使用(Least Recently Used ,LRU)"页面调度技巧来公平地选择哪个页可以从系统中删除。这种设计系统中每个页都有一个"年龄"，年龄随页面被访问而改变。页面被访问越多它越年轻;被访问越少越老。年老的页是用于交换的最佳候选页。

四、镜像在进程空间

我们来看看，当我们写好一个应用程序，编译后它都有什么东东？

例如：

用命令size a.out会得到:

其中text是放的是代码，data放的是初始化过的全局变量或静态变量，bss放的是未初始化的全局变量或静态变量

由于历史原因，C程序一直由下列几部分组成：

A.正文段。这是由cpu执行的机器指令部分。通常，正文段是可共享的，所以即使是经常执行的程序(如文本编辑程序、C编译程序、shell等)在存储器中也只需要有一个副本，另外，正文段常常是只读的，以防止程序由于意外事故而修改器自身的指令。

B.初始化数据段。通常将此段称为数据段，它包含了程序中需赋初值的变量。例如，C程序中任何函数之外的说明：

int maxcount = 99;(全局变量)

C.非初始化数据段。通常将此段称为bss段，这一名称来源于早期汇编程序的一个操作，意思是"block started by symbol",在程序开始执行之前，内核将此段初始化为0。函数外的说明：

long sum[1000];

使此变量存放在非初始化数据段中。

D.栈。自动变量以及每次函数调用时所需保存的信息都存放在此段中。每次函数调用时，其返回地址、以及调用者的环境信息(例如某些机器寄存器)都存放在栈中。然后，新被调用的函数在栈上为其自动和临时变量分配存储空间。通过以这种方式使用栈，C函数可以递归调用。

E.堆。通常在堆中进行动态存储分配。由于历史上形成的惯例，堆位于非初始化数据段顶和栈底之间。

从上图我们看到栈空间是下增长的，堆空间是从下增长的，他们会会碰头呀？一般不会，因为他们之间间隔很大，如：

#include

int bss_var;

int data_var0 = 1;

int main()

{

printf("Test location:

");

printf("Address of main(Code Segment)：%p

",main);

printf("_____________________________________

");

int stack_var0 = 2;

printf("Stack location:

");

printf("Initial end of stack:%p

",&stack_var0);

int stack_var1 = 3;

printf("New end of stack:%p

",&stack_var1);

printf("_____________________________________

");

printf("Data location:

");

printf("Address of data_var(Data Segment)：%p

",&data_var0);

static int data_var1 = 4;

printf("New end of data_var(Data Segment)：%p

",&data_var1);

printf("_____________________________________

");

printf("BSS location:

");

printf("Address of bss_var:%p

",&bss_var);

printf("_____________________________________

");

printf("Heap location:

");

char *p = (char *)malloc(10);

printf("Address of head_var:%p

",p);

return 0;

}

运行结果如下：

呵呵，这里我们看到地址了，这个地址是虚拟地址，这些地址时怎么来的呢？其实在我们编译的时候，

这些地址就已经确定了,如下图中红线。

也就是说，我们不论我们运行a.out程序多少次这些地址都是一样的。我们知道，linux操作系统每个进程的地址空间都是独立的，其实这里的独立说得是物理空间上得独立。