Linux中内存管理基础（一）

1. 内存空间管理

操作系统环境都是 x86架构的32位 Linux系统

虚拟地址

Linux采用虚拟内存管理技术，利用虚拟内存技术让每个进程都有4GB 互不干涉的虚拟地址空间。进程初始化分配和操作的都是基于这个虚拟地址，只有当进程需要实际访问内存资源的时候才会建立虚拟地址和物理地址的映射，调入物理内存页。
优点：
1、保护操作系统：避免用户直接访问物理内存地址，防止一些破坏性操作，
2、获取比实际物理内存更大的地址空间：每个进程都被分配了4GB的虚拟内存，4GB 的进程虚拟地址空间被分成两部分：用户空间和内核空间。

物理地址

内存的实际地址。使用的地址都是虚拟地址，当进程要实际访问内存的时候，会由内核的【请求分页机制】产生【缺页异常】调入物理内存页。

把虚拟地址利用MMU内存管理单元（Memory Management Unit ) 转换成内存的物理地址，这中间涉及对虚拟地址分段和分页（段页式）地址转换。Linux 内核会将物理内存分为3个管理区:

1. ZONE_DMA：DMA内存区域。包含0MB~16MB之间的内存页框，直接映射到内核的地址空间。
2. ZONE_NORMAL：普通内存区域。包含16MB~896MB之间的内存页框，常规页框，直接映射到内核的地址空间。
3. ZONE_HIGHMEM：高端内存区域。包含896MB以上的内存页框，不进行直接映射，可以通过永久映射和临时映射进行这部分内存页框的访问。

phys_to_virt() 他们都只适合896M下的地段内存，高端内存不存在如此简单的换算关系。

虚拟-物理转换

MMU（Memory Manager Unit），是内存管理单元，负责将虚拟地址转换成物理地址。除此之外，MMU 实现了内存保护，进程无法直接访问物理内存，防止内存数据被随意篡改。

慢表（TTW）：页表、段表存放在主存中，收到虚拟地址后要先访问主存，査询页表、段表，进行虚实地址转换。
TTW是一种辅助表，用于在TLB缺失时进行物理地址的查找。当TLB缺失发生时，CPU将会启动一个称为“页表遍历”（Page Table Walk）的过程，从内存中的页表结构中查找虚拟地址对应的物理地址。在页表遍历过程中，TTW表用于记录已经访问过的页表项，以减少重复访问同一级页表的次数，提高遍历效率。TTW表通常是一个小型的高速缓存，存储了最近访问的页表项，以加快页表遍历的速度。

快表（TLB）：提高变换速度→用高速缓冲存储器存放常用的页表项。

1. 当CPU执行内存访问指令时，首先会查询TLB，以检查虚拟地址是否已经映射到物理地址。如果映射存在于TLB中，则可以直接使用TLB提供的物理地址，从而加快内存访问速度。
2. 如果虚拟地址的映射不存在于TLB中，则会触发一个TLB缺失（TLB miss），此时需要通过其他方式获取该虚拟地址的物理地址，例如从页表中获取，并将映射存储到TLB中。

页命中

页命中就是 MMU 成功将虚拟地址转换为物理地址，获取到物理地址对应内容的过程。（下图是将过程简化以后的结果，这里假设TLB没有命中）

1. 处理器对虚拟地址(VA) 进行访问
2. MMU 通过TWU遍历物理内存页表中的 PTEA（PTE地址）
3. 物理内存返回 PTE（检查对应物理地址是否存在，或者是否具备访问权限）
4. MMU 通过PTE 映射物理地址，将其传给高速缓存或物理内存
5. 高速缓存或物理内存返回数据给处理器

缺页

与页命中相反，当MMU没有找到虚拟地址对应的物理地址时，这个时候为防止系统崩溃，需要采取补救措施。这种异常便是“缺页”（这里同样假设TLB没有命中）

1. 处理器对虚拟地址(VA) 进行访问
2. MMU 通过TWU遍历物理内存页表中的 PTEA（PTE地址）
3. 物理内存返回 PTE（有效位为0，触发异常，CPU响应异常，运行相应的异常处理程序）

补救措施：

4. 选出物理内存中的牺牲页，如果该页被修改过，先保存到磁盘
5. 异常处理程序从磁盘中加载新的页面，并更新触发异常的PTE
6. 异常处理程序返回到原来的进程，重新发送一个VA 给MMU（接下来就是“命中页”的流程了）
   选择内存中牺牲页的基准：页面置换算法
   FIFO：先进先出，选择最先进入内存的页进行替换
   LRU：最近最久未被使用
   LFU：最近被引用次数最少

1.读过程：

MMU 先检查 TLB 是否命中（即TLB 是否保存了该虚拟地址和物理地址的映射）。如果 TLB 命中了，继续查询该物理地址的内容是否存在于 cache 中。若cache命中，直接取出内容返回给处理器，若cache没有命中，进一步访问物理内存获取相应的内容；如果 TLB 没有命中，MMU 通过 TWU 查询页表，翻译虚拟地址得到物理地址（具体过程请看
下面“页命中”部分）

2.写过程：
MMU 先检查 TLB 是否命中（即TLB 是否保存了该虚拟地址和物理地址的映射）
如果 TLB 命中了，继续查询该物理地址是否存在于 cache 中，

若 cache 命中，需要判断这个数据是否为脏的（判断cache和内存中的数据是否一致，如果不一致需要先更新），如果不是脏数据，更新 cache 中该物理地址对应的内容，同时标记为脏数据；如果是脏数据，先将上一次的数据更新到内存，然后再从内存中读出对应物理地址的内容。然后再更新 cache 中该物理地址对应的内容，
若 cache 没有命中，则从内存读取该物理地址的内容，然后写入，并标记为脏数据
如果 TLB 没有命中，那就直接访问内存页表，并写入内容。

进程用户空间

用户进程能访问的是「用户空间」，每个进程都有自己独立的用户空间，虚拟地址范围从从 0x00000000 至 0xBFFFFFFF 总容量3G 。用户进程通常只能访问用户空间的虚拟地址，只有在执行内陷操作或系统调用时才能访问内核空间。
进程占用的用户空间划分成 5个不同的内存区域，访问属性指的是“可读、可写、可执行等

1. 代码段：代码段是用来存放可执行文件的操作指令，可执行程序在内存中的镜像。代码段需要防止在运行时被非法修改，所以只准许读取操作，它是不可写的。
2. 数据段：数据段用来存放可执行文件中已初始化全局变量，存放程序静态分配的变量和全局变量。
3. BSS段：包含了程序中未初始化的全局变量，在内存中 bss 段全部置零。
4. 堆：堆用于存放进程运行中被动态分配的内存段，大小并不固定，可动态扩张或缩减。当进程调用malloc等函数分配内存时，新分配的内存就被动态添加到堆上（堆被扩张）；当利用free等函数释放内存时，被释放的内存从堆中被剔除（堆被缩减）。
   特点：由程序员分配(new,malloc)释放(delete,free)，并指明大小，速度较慢，若程序员不释放，导致内存泄漏，new完没有delete
   不过在整个程序结束时由操作系统回收。
5. 栈：栈是用户存放程序临时创建的局部变量（但不包括 static 声明的变量，static意味着在数据段中存放变量）。除此以外，在函数被调用时，其参数也会被压入发起调用的进程栈中，并且待到调用结束后，函数的返回值也会被存放回栈中。由于栈的先进先出特点，所以栈特别方便用来保存/恢复调用现场。从这个意义上讲，我们可以把堆栈看成一个寄存、交换临时数据的内存区。
   特点：
   编译器自动分配释放，速度较快
   存储函数调用时的临时信息的结构，存放为运行时函数分配的局部变量、函数 参数、返回数据、返回地址等。

数据段、BSS 段、堆通常是被连续存储在内存中，在位置上是连续的，而代码段和栈往往会被独立存放。堆和栈两个区域栈向下扩展、堆向上扩展，相对而生。

linux下用size 命令查看编译后程序的各个内存区域大小：

tronlong@tronlong-virtual-machine:~/VC/vspro/zynq_driver/dmaMmap$ size dmaapp
   text	   data	    bss	    dec	    hex	filename
   2468	    336	     28	   2832	    b10	dmaapp

进程内核空间

Linux 内核地址空间是指虚拟地址从 0xC0000000 开始到 0xFFFFFFFF 为止的高端内存地址空间，总计 1G 的容量， 包括了内核镜像、物理页面表、驱动程序等运行在内核空间 。内核线性地址空间由所有进程共享，但只有运行在内核态的进程才能访问。

1. 直接映射区：从内核空间起始地址开始，最大896M的内核空间地址区间，为直接内存映射区。也就是说线性地址和分配的物理地址都是连续的。内核地址空间的线性地址0xC0000001所对应的物理地址为0x00000001，它们之间相差一个偏移量PAGE_OFFSET = 0xC0000000。
   线性转换关系：
   1. 「线性地址 = PAGE_OFFSET + 物理地址」;
   2. 用 virt_to_phys()函数将内核虚拟空间中的线性地址转化为物理地址;
2. 高端内存线性地址空间：从 896M 到 1G 的区间，容量 128MB 的地址区间是高端内存线性地址空间。
   1. 动态内存映射区：线性空间连续，但是对应的物理地址空间不一定连续
   2. 永久内存映射区：访问方法是使用 alloc_page (_GFP_HIGHMEM) 分配高端内存页或者使用kmap函数将分配到的高端内存映射到该区域。
   3. 固定映射区： 该区域和 4G 的顶端只有 4k 的隔离带。
   

2. 内存管理数据结构

1、用户空间内存数据结构

代码段、数据段、BSS、堆、栈，内核管理这些区域的方式是将这些内存区域抽象成vm_area_struct的内存管理对象。

vm_area_struct是描述进程地址空间的基本管理单元，一个进程往往需要多个vm_area_struct来描述它的用户空间虚拟地址，需要使用「链表」和「红黑树」来组织各个vm_area_struct。链表用于需要遍历全部节点的时候用，而红黑树适用于在地址空间中定位特定内存区域

2、内核空间动态分配内存

vmalloc 分配的地址则限于vmalloc_start与vmalloc_end之间。每一块vmalloc分配的内核虚拟内存都对应一个vm_struct结构体，不同的内核空间虚拟地址之间有4k大小的防越界空闲区间隔区。
与用户空间的虚拟地址特性一样，这些虚拟地址与物理内存没有简单的映射关系，必须通过内核页表才可转换为物理地址或物理页，它们有可能尚未被映射，当发生缺页时才真正分配物理页面。

3. 物理内存管理

物理内存管理

在Linux系统中通过分段和分页机制，把物理内存划分 4K 大小的内存页 Page（也称作页框Page Frame），物理内存的分配和回收都是基于内存页进行：

假如系统请求小块内存，可以预先分配一页给它，避免了反复的申请和释放小块内存带来频繁的系统开销。
假如系统需要大块内存，则可以用多页内存拼凑，而不必要求大块连续内存。你看不管内存大小都能收放自如。
物理页管理面临问题：物理内存页分配会出现外部碎片和内部碎片问题，一个页框内的内存碎片是内部碎片，多个页框间的碎片是外部碎片。

1. 外部碎片：系统分配物理内存页的时候会尽量分配连续的内存页面，频繁的分配与回收物理页导致大量的小块内存夹杂在已分配页面中间，形成外部碎片；
2. 内部碎片：物理内存是按页来分配的，这样当实际只需要很小内存的时候，也会分配至少是 4K 大小的页面，而内核中有很多需要以字节为单位分配内存的场景，这样本来只想要几个字节而已却不得不分配一页内存，除去用掉的字节剩下的就形成了内部碎片；

物理内存三级架构

主要由内存节点node、内存区域zone和物理页框page三级架构组成。

内存节点node

内存节点node是计算机系统中对物理内存的一种描述方法，一个总线主设备访问位于同一个节点中的任意内存单元所花的代价相同，而访问任意两个不同节点中的内存单元所花的代价不同。在一致存储结构(Uniform Memory Architecture，简称UMA)计算机系统中只有一个节点，而在非一致性存储结构(NUMA)计算机系统中有多个节点。Linux内核中使用数据结构pg_data_t来表示内存节点node。如常用的ARM架构为UMA架构。

内存区域zone

内存区域位于同一个内存节点之内，由于各种原因它们的用途和使用方法并不一样。如基于IA32体系结构的个人计算机系统中，由于历史原因使得ISA设备只能使用最低16MB来进行DMA传输。又如，由于Linux内核采用

物理页框page

Linux虚拟内存三级页表， Linux虚拟内存三级管理由以下三级页表组成：

1. PGD: Page Global Directory (页目录)

2. PMD: Page Middle Directory (页目录)

3. PTE: Page Table Entry (页表项)

每一级有以下三个关键描述宏：

#define PAGE_SHIFT		12
#define PAGE_SIZE		(_AC(1,UL) << PAGE_SHIFT)
#define PAGE_MASK		(~(PAGE_SIZE-1))

页面管理算法

1、Buddy（伙伴）分配算法

把相同大小的页框块用链表串起来，页框块就像手拉手的好伙伴：所有的空闲页框分组为11个块链表，每个块链表分别包含大小为1，2，4，8，16，32，64，128，256，512和1024个连续页框的页框块。最大可以申请1024个连续页框，对应4MB大小的连续内存。

因为任何正整数都可以由 2^n 的和组成，所以总能找到合适大小的内存块分配出去，减少了外部碎片产生 。

tronlong@tronlong-virtual-machine:~/VC/vspro/zynq_driver/dmaMmap$ cat /proc/buddyinfo
Node 0, zone      DMA      0      1      1      2      4      3      1      1      2      2      2 
Node 0, zone    DMA32   1030   1724   1000    455    280    141     51     43     20      6    273 
Node 0, zone   Normal    356    720    322    152     63     46     39     22      8      1     79 

2、slab分配器

内核对象的生命周期是这样的：分配内存-初始化-释放内存，内核中有大量的小对象，比如文件描述结构对象、任务描述结构对象，如果按照伙伴系统按页分配和释放内存，对小对象频繁的执行「分配内存-初始化-释放内存」会非常消耗性能。

伙伴系统分配出去的内存还是以页框为单位，而对于内核的很多场景都是分配小片内存，远用不到一页内存大小的空间。slab分配器「通过将内存按使用对象不同再划分成不同大小的空间」，应用于内核对象的缓存。slab 内存分配器是对伙伴分配算法的补充

每个内核中的相同类型的对象，如：task_struct、file_struct 等需要重复使用的小型内核数据对象，都会有个 slab 缓存池，缓存住大量常用的「已经初始化」的对象，每当要申请这种类型的对象时，就从缓存池的slab 列表中分配一个出去；而当要释放时，将其重新保存在该列表中，而不是直接返回给伙伴系统，从而避免内部碎片，同时也大大提高了内存分配性能。
优点

1. slab 内存管理基于内核小对象，不用每次都分配一页内存，充分利用内存空间，避免内部碎片。
2. slab 对内核中频繁创建和释放的小对象做缓存，重复利用一些相同的对象，减少内存分配次数。
   
   可以通过 cat /proc/slabinfo 命令，实际查看系统中slab 信息。

root@tronlong-virtual-machine:/home/tronlong/VC/vspro/zynq_driver/dmaMmap# cat /proc/slabinfo
slabinfo - version: 2.1
# name            <active_objs> <num_objs> <objsize> <objperslab> <pagesperslab> : tunables <limit> <batchcount> <sharedfactor> : slabdata <active_slabs> <num_slabs> <sharedavail>
isofs_inode_cache     53     53    616   53    8 : tunables    0    0    0 : slabdata      1      1      0
ext4_groupinfo_4k    784    784    144   56    2 : tunables    0    0    0 : slabdata     14     14      0
ip6-frags              0      0    216   37    2 : tunables    0    0    0 : slabdata      0      0      0
UDPLITEv6              0      0   1088   30    8 : tunables    0    0    0 : slabdata      0      0      0
UDPv6                120    120   1088   30    8 : tunables    0    0    0 : slabdata      4      4      0

kmem_cache 是一个cache_chain 的链表组成节点，代表的是一个内核中的相同类型的「对象高速缓存」，每个kmem_cache 通常是一段连续的内存块，包含了三种类型的 slabs 链表：

1. slabs_full (完全分配的 slab 链表)
2. slabs_partial (部分分配的slab 链表)
3. slabs_empty ( 没有被分配对象的slab 链表)
   slab 是slab 分配器的最小单位，在实现上一个 slab 由一个或多个连续的物理页组成（通常只有一页）。单个slab可以在 slab 链表之间移动，例如如果一个「slabs_partial 」被分配了对象后变满了，就要从 slabs_partial 中删除，同时插入到「slabs_full链表」中去。内核slab对象的分配过程是这样的：
   
4. 如果slabs_partial链表还有未分配的空间，分配对象，若分配之后变满，移动 slab 到slabs_full 链表
5. 如果slabs_partial链表没有未分配的空间，进入下一步
6. 如果slabs_empty 链表还有未分配的空间，分配对象，同时移动slab进入slabs_partial链表
7. 如果slabs_empty为空，请求伙伴系统分页，创建一个新的空闲slab， 按步骤 3 分配对象

slab高速缓存的分类

通用高速缓存：

slab分配器中用 kmem_cache 来描述高速缓存的结构，它本身也需要 slab 分配器对其进行高速缓存。cache_cache 保存着对「高速缓存描述符的高速缓存」，是一种通用高速缓存，保存在cache_chain 链表中的第一个元素。

另外，slab 分配器所提供的小块连续内存的分配，也是通用高速缓存实现的。通用高速缓存所提供的对象具有几何分布的大小，范围为32到131072字节。内核中提供了 kmalloc() 和 kfree() 两个接口分别进行内存的申请和释放。

专用高速缓存

kmem_cache_create() 用于对一个指定的对象创建高速缓存。它从 cache_cache 普通高速缓存中为新的专有缓存分配一个高速缓存描述符，并把这个描述符插入到高速缓存描述符形成的 cache_chain 链表中。kmem_cache_destory() 用于撤消和从 cache_chain 链表上删除高速缓存。

slab申请和释放

kmem_cache_alloc() 在其参数所指定的高速缓存中分配一个slab，对应的 kmem_cache_free() 在其参数所指定的高速缓存中释放一个slab。

4. 虚拟内存分配

包括用户空间虚拟内存和内核空间虚拟内存。分配的虚拟内存还没有映射到物理内存，只有当访问申请的虚拟内存时，才会发生缺页异常，再通过上面介绍的伙伴系统和 slab 分配器申请物理内存。
Linux以PAGE_OFFSET为界将4GB的虚拟内存空间分成了两部分：地址03G-1这段低地址空间为用户空间，大小为3GB；地址3GB4GB-1这段高地址空间为内核空间，大小为1GB。

用户空间内存分配

malloc函数

malloc 用于申请用户空间的虚拟内存，当申请小于128KB小内存的时，malloc使用 sbrk或brk 分配内存；当申请大于128KB的内存时，使用mmap函数申请内存；
问题:由于 brk/sbrk/mmap 属于系统调用，如果每次申请内存都要产生系统调用开销，cpu 在用户态和内核态之间频繁切换，非常影响性能；而且，堆是从低地址往高地址增长，如果低地址的内存没有被释放，高地址的内存就不能被回收，容易产生内存碎片。
解决方案：malloc采用的是内存池的实现方式，先申请一大块内存，然后将内存分成不同大小的内存块，然后用户申请内存时，直接从内存池中选择一块相近的内存块分配出去。


malloc() 分配的是虚拟内存，只有在访问已分配的虚拟地址空间的时候，操作系统通过查找页表，发现虚拟内存对应的页没有在物理内存中，就会触发【缺页中断】，然后操作系统会建立虚拟内存和物理内存之间的映射关系。

缺页中断就是要访问的页不在主存，需要操作系统将其调入主存后再进行访问。在这个时候，被内存映射的文件实际上成了一个分页交换文件。

mmap 和 brk 分配内存区别

malloc 通过 brk() 方式申请的内存，free 释放内存的时候，并不会把内存归还给操作系统，而是缓存在 malloc 的内存池中，待下次使用。

malloc 通过 brk() 系统调用在堆空间申请内存的时候，由于堆空间是连续的，所以直接预分配更大的内存来作为内存池，当内存释放的时候，就缓存在内存池中。等下次在申请内存的时候，就直接从内存池取出对应的内存块就行了，而且可能这个内存块的虚拟地址与物理地址的映射关系还存在，这样不仅减少了系统调用的次数，也减少了缺页中断的次数，这将大大降低 CPU 的消耗。

malloc 通过 mmap() 方式申请的内存，free 释放内存的时候，会把内存归还给操作系统，内存得到真正的释放。mmap 分配的虚拟地址都是缺页状态的，然后在第一次访问该虚拟地址的时候，就会触发缺页中断。也就是说，频繁通过 mmap 分配的内存话，不仅每次都会发生运行态的切换，还会发生缺页中断（在第一次访问虚拟地址后），这样会导致 CPU 消耗较大。

随着系统频繁地 malloc 和 free ，尤其对于小块内存，堆内将产生越来越多不可用的碎片，导致“内存泄露”。而这种“泄露”现象使用 valgrind 是无法检测出来的。
所以，malloc 实现中，充分考虑了 brk 和 mmap 行为上的差异及优缺点，默认分配大块内存 (128KB) 才使用 mmap 分配内存空间。

内核空间内存分配

kmalloc 和 vmalloc 分别用于分配不同映射区的虚拟内存。

kmalloc函数

kmalloc() 分配的虚拟地址范围在内核空间的「直接内存映射区」。
原理：
按字节为单位虚拟内存，一般用于分配小块内存，释放内存对应于 kfree ，可以分配连续的物理内存。函数原型在 <linux/kmalloc.h> 中声明，一般情况下在驱动程序中都是调用 kmalloc() 来给数据结构分配内存 。

kmalloc 是基于slab 分配器的 ，同样可以用cat /proc/slabinfo 命令，查看 kmalloc 相关 slab 对象信息，下面的 kmalloc-8、kmalloc-16 等等就是基于slab分配的 kmalloc 高速缓存。

kmalloc-8192         346    360   8192    4    8 : tunables    0    0    0 : slabdata     90     90      0
kmalloc-4096         177    184   4096    8    8 : tunables    0    0    0 : slabdata     23     23      0
kmalloc-2048        1461   1488   2048   16    8 : tunables    0    0    0 : slabdata     93     93      0
kmalloc-1024        2261   2432   1024   32    8 : tunables    0    0    0 : slabdata     76     76      0
kmalloc-512        16863  17216    512   64    8 : tunables    0    0    0 : slabdata    269    269      0
kmalloc-256         9356   9536    256   64    4 : tunables    0    0    0 : slabdata    149    149      0
kmalloc-128         3008   3008    128   64    2 : tunables    0    0    0 : slabdata     47     47      0
kmalloc-64         22391  23104     64   64    1 : tunables    0    0    0 : slabdata    361    361      0
kmalloc-32         15542  15616     32  128    1 : tunables    0    0    0 : slabdata    122    122      0
kmalloc-16         10496  10496     16  256    1 : tunables    0    0    0 : slabdata     41     41      0
kmalloc-8          11264  11264      8  512    1 : tunables    0    0    0 : slabdata     22     22      0
kmalloc-192        29534  29904    192   42    2 : tunables    0    0    0 : slabdata    712    712      0
kmalloc-96          4404   4704     96   42    1 : tunables    0    0    0 : slabdata    112    112      0

vmalloc函数

vmalloc 分配的虚拟地址区间，位于 vmalloc_start 与vmalloc_end 之间的「动态内存映射区」。
一般用分配大块内存，释放内存对应于 vfree，分配的虚拟内存地址连续，物理地址上不一定连续。函数原型在 <linux/vmalloc.h> 中声明。一般用在为活动的交换区分配数据结构，为某些 I/O 驱动程序分配缓冲区，或为内核模块分配空间。

下面的图总结了上述两种内核空间虚拟内存分配方式。