复习：linux内存管理

一、内核空间

1、 页

页(page)是内核的内存管理基本单位。

/*  linux/mm_types.h */
struct page {
       page_flags_t flags;  页标志符
       atomic_t _count;    页引用计数
       atomic_t _mapcount;     页映射计数
       unsigned long private;    私有数据指针
       struct address_space *mapping;    该页所在地址空间描述结构指针，用于内容为文件的页帧
       pgoff_t index;               该页描述结构在地址空间radix树page_tree中的对象索引号即页号
       struct list_head lru;        最近最久未使用struct slab结构指针链表头变量
       void *virtual;               页虚拟地址
};

• flags：页标志包含是不是脏的，是否被锁定等等，每一位单独表示一种状态，可同时表示出32种不同状态，定义在<linux/page-flags.h>
• _count：计数值为-1表示未被使用。
• virtual：页在虚拟内存中的地址，对于不能永久映射到内核空间的内存(比如高端内存)，该值为NULL；需要事必须动态映射这些内存。

尽管处理器的最小可寻址单位通常为字或字节，但内存管理单元(MMU，把虚拟地址转换为物理地址的硬件设备)通常以页为单位处理。内核用struct page结构体表示每个物理页，struct page结构体占40个字节，假定系统物理页大小为4KB，对于4GB物理内存，1M个页面，故所有的页面page结构体共占有内存大小为40MB，相对系统4G，这个代价并不高。

2、区

内核把页划分在不同的区(zone)，总共3个区，具体如下：

区	描述	物理内存（MB）
ZONE_DMA	DMA使用的页	<16
ZONE_NORMAL	可正常寻址的页	16 ~896
ZONE_HIGHMEM	动态映射的页	>896

执行DMA操作的内存必须从ZONE_DMA区分配，
一般内存，既可从ZONE_DMA，也可从ZONE_NORMAL分配，但不能同时从两个区分配；

3、页分配与释放

页分配函数	描述
alloc_pages(gfp_mask, order)	分配2^order个页，返回指向第一页的指针
alloc_pages(gfp_mask)	分配一页，返回指向页的指针
__get_free_pages(gfp_mask, order)	分配2^order个页，返回指向其逻辑地址的指针
__get_free_pages(gfp_mask)	分配一页，返回指向其逻辑地址的指针
get_zeroed_page(gfp_mask)	分配一页，并填充内容为0，返回指向其逻辑地址的指针

get_zeroed_page：对于用户空间，这个方法能保障系统敏感数据不会泄露

页释放函数	描述
__free_pages(page, order)	从page开始，释放2^order个页
free_pages(addr, order)	从地址addr开始，释放2^order个页
free_page(addr)	释放addr所在的那一页

4、字节分配与释放

kmalloc，vmalloc分配都是以字节为单位

kmalloc

该函数返回的是一个指向内存块的指针，其内存块大小至少为size,所分配的内存在物理内存中连续且保持原有的数据(不清零)

void * kmalloc(size_t size, gfp_t flags)

其中部分flags取值说明：

• GFP_USER： 用于用户空间的分配内存，可能休眠；
• GFP_KERNEL：用于内核空间的内存分配，可能休眠；
• GFP_ATOMIC：用于原子性的内存分配，不会休眠；典型原子性场景有中断处理程序，软中断，tasklet等
• kmalloc内存分配最终总是调用__get_free_pages 来进行实际的分配，故前缀都是GFP_开头。 kmalloc分最多只能分配32个page大小的内存，每个page=4k，也就是128K大小，其中16个字节用来记录页描述结构。kmalloc分配的是常驻内存，不会被交换到文件中。最小分配单位是32或64字节。

kzalloc

kzalloc()等价于先用 kmalloc() 申请空间， 再用memset()来初始化，所有申请的元素都被初始化为0。

static inline void *kzalloc(size_t size, gfp_t flags)
{
    return kmalloc(size, flags | __GFP_ZERO); //通过或标志位__GFP_ZERO，初始化元素为0
}

vmalloc

该函数返回的是一个指向内存块的指针，其内存块大小至少为size,所分配的内存是逻辑上连续的。与kmalloc不同，该函数没有flag，默认是可以休眠的。

void * vmalloc(unsigned long size)

小结：

分配函数	区域	连续性	大小	释放函数	优势
kmalloc	内核空间	物理地址连续	最大值128K-16	kfree	性能更佳
vmalloc	内核空间	虚拟地址连续	更大	vfree	更易分配大内存
malloc	用户空间	虚拟地址连续	更大	free

5、slab层

分配和释放数据结构是所有内核中最普遍的操作之一，为了便于数据的频繁分配和回收，编程者常常会用到一个空闲链表，该空闲链表包含有可供使用的、已经分配好的数据结构块，当代码需要一个新的数据结构实例时，就可以从空闲链表中抓取一个，而不需要分配内存，在把数据放进去。当不需要这个数据结构的实例时，在将它放回空闲链表，而不是释放它。于是Linux内核提供了slab层（也就是所谓的slab分配器）。扮演了通用数据结构缓存层的角色。

设计原则：：

• 频繁使用的数据结构也会频繁的分配和释放，因此应当缓存它们。
• 频繁分配和回收必然会导致内存碎片（难以找到大块连续的可用内存）。为了避免这种假象，空闲链表的缓存会连续的存放。因为已释放的数据结构又会放回空闲链表，因此不会导致碎片。
• 如果让部分缓存专属于单个处理器（对系统上的每个处理器独立而唯一），那么，分配和释放就可以在不加SMP锁的情况下进行。
• slab层把不同的对象划分为高速缓存组，每个高速缓存组都存放不同类型的对象，每个对象类型对应一个高速缓存。例如一个高速缓存用于存放进程描述符（task_struct结构的一个空闲链表），而另一个高速缓存存放索引节点对象（struct inode）。
• kmalloc接口建立在slab层之上，使用一组通用高速缓存。

每个高速缓存又被划分为slab，slab由一个或多个物理上连续的页组成，一般仅仅由一页组成，每个高速缓存可以由多个slab组成。每个slab都包含一些对象成员，这里对象指的是被缓存的数据结构，每个slab处于三种状态之一：满、部分满或空。当内核的某一部分需要一个新的对象时，先从部分满的slab中进行分配（满的表示对象全部分配出去）。如果没有部分满的slab，就从空的slab中进行分配。如果没有空的slab就创建一个slab。这种策略能减少碎片。示例图如下：

每个高速缓存都是用kmem_cache_s结构来表示。这个结构包含三个链表slabs_full、slabs_partial和slabs_empty，均存放在kmem_list3结构内。这些链表包含高速缓存中的所有slab。
slab分配器的接口;

• kmem_cache_crreate：创建高速缓存
• kmem_cache_destroy: 撤销高速缓存
• kmem_cache_alloc: 从高速缓存中返回一个指向对象的指针
• kmem_cache_free：释放一个对象

实例分析： 内核初始化期间，/kernel/fork.c的fork_init()中会创建一个名叫task_struct的高速缓存； 每当进程调用fork（）时，会通过dup_task_struct()创建一个新的进程描述符，并调用do_fork(),完成从高速缓存中获取对象。

6、栈的静态分配

当设置单页内核栈，那么每个进程的内核栈只有一页大小，这取决于编译时配置选项。 好处：

• 可以减少每个进程内存的消耗；
• 随着机器运行时间的增加，寻找两个未分配的、连续的页越来越困难，物 理内存碎片化不断加重，那么给每个新进程分配虚拟内存的压力也增大；
• 每个进程的调用链在自己的内核栈中，当单页栈选项被激活时，中断处理程序可获得自己的栈；
• 任意函数必须尽量节省栈资源， 方法就是所有函数让局部变量所占空间之和不要超过几百字节。

7、高端内存的映射

若机器安装的物理内存超过内核地址空间范围，就会存在高端内存。
32位系统用户进程最大可以访问3GB，内核代码可以访问所有物理内存（得益于高端内存）。

高端内存的最基本思想：借一段地址空间，建立临时地址映射，用完后释放，达到这段地址空间可以循环使用，访问所有物理内存。

内核将高端内存划分为3部分：

• VMALLOC_START~~VMALLOC_END、
• KMAP_BASE~~FIXADDR_START
• FIXADDR_START~~4G。
  
  对于高端内存，可以通过 alloc_page() 或者其它函数获得对应的 page，但是要想访问实际物理内存，还得把 page 转为线性地址才行（为什么？想想 MMU 是如何访问物理内存的），也就是说，我们需要为高端内存对应的 page 找一个线性空间，这个过程称为高端内存映射。

对应高端内存的3部分，高端内存映射有三种方式：

• 映射到”内核动态映射空间”（noncontiguous memory allocation）
  这种方式很简单，因为通过 vmalloc() ，在”内核动态映射空间”申请内存的时候，就可能从高端内存获得页面（参看 vmalloc 的实现），因此说高端内存有可能映射到”内核动态映射空间”中。

• 持久内核映射（permanent kernel mapping）
  如果是通过 alloc_page() 获得了高端内存对应的 page，如何给它找个线性空间？
  内核专门为此留出一块线性空间，从 PKMAP_BASE 到 FIXADDR_START ，用于映射高端内存。在 2.6内核上，这个地址范围是 4G-8M 到 4G-4M 之间。这个空间起叫”内核永久映射空间”或者”永久内核映射空间”。这个空间和其它空间使用同样的页目录表，对于内核来说，就是 swapper_pg_dir，对普通进程来说，通过 CR3 寄存器指向。通常情况下，这个空间是 4M 大小，因此仅仅需要一个页表即可，内核通过来 pkmap_page_table 寻找这个页表。通过 kmap()，可以把一个 page 映射到这个空间来。由于这个空间是 4M 大小，最多能同时映射 1024 个 page。因此，对于不使用的的 page，及应该时从这个空间释放掉（也就是解除映射关系），通过 kunmap() ，可以把一个 page 对应的线性地址从这个空间释放出来。

• 临时映射（temporary kernel mapping）
  内核在 FIXADDR_START 到 FIXADDR_TOP 之间保留了一些线性空间用于特殊需求。这个空间称为”固定映射空间”在这个空间中，有一部分用于高端内存的临时映射。
  当要进行一次临时映射的时候，需要指定映射的目的，根据映射目的，可以找到对应的小空间，然后把这个空间的地址作为映射地址。这意味着一次临时映射会导致以前的映射被覆盖。通过 kmap_atomic() 可实现临时映射。

小结：

• 高端内存中的页不能永久地映射到内核地址空间，
• kmap：把给定page结构映射到内核地址空间；
• • 当page位于低端内存，函数返回该页的虚拟地址
• • 当page位于高端内存，建立一个持久映射，再返回地址
• kunmap: 持久映射的数量有限，应通过kunmap及时解除映射
• kmap_atomic: 临时映射
• kunmap_atomic: 解除临时映射

问：为什么内核空间与用户空间做1：3的划分？
答：减少用户态与内核切换时的开销。对于任何用户进程，0-3G的映射都是不同的，但是所有用户进程3-4G的映射都是相同的。一个进程从用户态切入到内核态(系统调用或者中断)，MMU映射不需要变。你能很方便取得内核数据和用户进程的数据。
反证，如果内核空间和用户空间都是0~4G范围的话，当内核空间被用户空间替换时，还有谁能把用户空间切换成内核空间？（因为管理内存的角色不正是内核吗！）

问：若机器安装的物理内存超过内核地址空间范围，就会存在高端内存，怎么理解？
答：假设机器物理内存4G，超过内核地址空间1G的范围，就存在高端内存。
假设机器物理内存896MB，不超过内核地址空间1G的范围，就不存在高端内存。
问：当一个进程访问其虚拟内存空间中的某个地址时又是怎样实现不与其它进程的虚拟空间混淆 的呢？
答：每个进程都有其自身的页面目录PGD，Linux将该目录的指针存放在与进程对应的内存结构task_struct.(struct mm_struct)mm->pgd中。每当一个进程被调度（schedule()）即将进入运行态时，Linux内核都要用该进程的PGD指针设 置CR3（switch_mm()）。
当创建一个新的进程时，都要为新进程创建一个新的页面目录PGD，并从内核的页面目录swapper_pg_dir中复制内核区间页面目录项至新建进程页面目录PGD的相应位置，具体过程如下：
do_fork() --> copy_mm() --> mm_init() --> pgd_alloc() --> set_pgd_fast() --> get_pgd_slow() --> memcpy(&PGD + USER_PTRS_PER_PGD, swapper_pg_dir + USER_PTRS_PER_PGD, (PTRS_PER_PGD - USER_PTRS_PER_PGD) * sizeof(pgd_t))
这样一来，每个进程的页面目录就分成了两部分，第一部分为“用户空间”，用来映射其整个进程空间（0x0000 0000－0xBFFF FFFF）即3G字节的虚拟地址；第二部分为“系统空间”，用来映射（0xC000 0000－0xFFFF FFFF）1G字节的虚拟地址。可以看出Linux系统中每个进程的页面目录的第二部分是相同的，所以从进程的角度来看，每个进程有4G字节的虚拟空间， 较低的3G字节是自己的用户空间，最高的1G字节则为与所有进程以及内核共享的系统空间。

小结

分配函数选择：

• 连续的物理页，使用低级页分配器 或kmalloc();
• 仅仅需要虚拟地址连续页，使用vmalloc()，性能有所损失；
• 高端内存分配，使用alloc_pages(),返回page结构指针； 想获取地址指针，应使用kmap(),把高端内存映射到内核的逻辑地址空间；
• 频繁创建和撤销大量数据结构，考虑建立slab高速缓存。

二、用户空间

内存区域可包含的对象：

• 代码段(text section)： 可执行文件代码
• 数据段(data section)： 可执行文件的已初始化全局变量（静态分配的变量和全局变量）。
• bss段：程序中未初始化的全局变量，零页映射（页面的信息全部为0值）。
• 进程用户空间栈的零页映射（进程的内核栈独立存在并由内核维护）
• 每一个诸如C库或动态连接程序等共享库的代码段、数据段和bss也会被载入进程的地址空间
• 任何内存映射文件
• 任何共享内存段
• 任何匿名的内存映射（比如由malloc()分配的内存）
  这些内存区域不能相互覆盖，每一个进程都有不同的内存片段。

1、内存描述符

/* <linux/sched.h> */
struct mm_struct
{
    struct vm_area_struct *mmap;
    rb_root_t mm_rb;
    ...
    atomic_t mm_users;
    atomic_t mm_count;

    struct list_head mmlist;
    ...
};

• mm_users：代表正在使用该地址的进程数目，当该值为0时mm_count也变为0；
• mm_count: 代表mm_struct的主引用计数，当该值为0说明没有任何指向该mm_struct结构体的引用，结构体会被撤销。
• mmap和mm_rb：描述的对象都是相同的
• mmap以链表形式存放， 利于高效地遍历所有元素
• mm_rb以红黑树形式存放，适合搜索指定元素
• mmlist：所有的mm_struct结构体都通过mmlist连接在一个双向链表中，该链表的首元素是init_mm内存描述符，它代表init进程的地址空间。