linux---内存---如何避免内存碎片

linux kernel内存碎片防治技术

外部碎片

还没有被分配出去（不属于任何进程）的内存，但由于太小了无法分配给申请内存空间的新进程的内存空闲区域。外部碎片是除了任何已分配区域或页面外部的空闲存储块。这些存储块的总和可以满足当前申请的长度要求，但是由于它们的地址不连续或其他原因，使得系统无法满足当前申请。

内存碎片问题

频繁地请求和释放不同大小的内存，必然导致内存碎片问题的产生，结果就是当再次要求分配连续的内存时，即使整体内存是足够的，也无法满足连续内存的需求。该问题也称之为外碎片(external fragmentation)。
解决方案：
避免外碎片的方法有两种:
1、地址转换技术，把非连续的物理地址转换成连续的线性地址。
2、记录现存的空闲内存，以尽量避免为满足对小块的请求而分割大的空闲快
Linux采用了第二种方案，因为在某些情况下，系统的确需要连续的物理地址（DMA处理器可以直接访问总线）。

Linux内存管理

linux kernel 通过把整个物理内存划分成以一个个page进行管理，
第一层为全部物理内存：其管理器为伙伴系统，最小管理单位为page；
第二层为slab page：其管理器为slab/slub，最小管理单位为2的m次幂的字节块；

linux中输入getconf PAGESIZE 查询👉一页=4096字节=4KB
通常将虚拟地址空间以512Byte ~ 8K，作为一个单位，称为页，并从0开始依次对每一个页编号。这个大小通常被称为页面
将物理地址按照同样的大小，作为一个单位，称为框或者块，也从0开始依次对每一个框编号。

linux kernel 通过slab来实现对小于page大小的内存分配。
slab把page按2的m次幂进行划分一个个字节块，当kmalloc申请内存时，通过slab管理器返回需要满足申请大小的最小空闲内存块。
slub主要是针对slab的对象管理数据的优化版本，相比于slab，slub提供更小的管理成本开销。而且slub对多核系统的支持也更加友好。细节这里就不展开讲。（slab、slub的区别：https://blog.csdn.net/Vince_/article/details/79668199）
所以kernel的内存管理是个2层分层系统，从下往上依次为：

伙伴系统(buddy system)：最小分配单元就是page

把所有的空闲页框分组为11个块链表，每个链表分别包含大小为1,2,4,8,16,32,64,128,256,512,1024个连续的页框，对1024个页框的最大请求对应着4MB大小的连续RAM（每页大小为4KB），每个块的第一个页框的物理地址是该块大小的整数倍，例如，大小为16个页框的块，其起始地址是16*2^12的倍数。
我们通过一个例子来说明伙伴算法的工作原理，假设现在要请求一个256个页框的块（1MB），算法步骤如下：
• 在256个页框的链表中检查是否有一个空闲快，如果没有，查找下一个更大的块，如果有，请求满足。
• 在512个页框的链表中检查是否有一个空闲块，如果有，把512个页框的空闲块分为两份，第一份用于满足请求，第二份链接到256个页框的链表中。如果没有空闲块，继续寻找下一个更大的块。
下图比较形象地描述了该过程。

页的请求
以上过程的逆过程，就是页框块的释放过程，也是该算法名字的由来，内核试图把大小为B的一对空闲伙伴块合并为一个2B的单独块，满足以下条件的两个块称之为伙伴：
• 两个块具有相同的大小
• 他们的物理地址是连续的
第一块的第一个页框的物理地址是2 * B * 2^12
该算法是递归的，如果它成功合并了B，就会试图去合并2B，以再次试图形成更大的块。

高速缓存Slab层：对小于page的内存请求进行分配

slab是Linux操作系统的一种内存分配机制。其工作是针对一些经常分配并释放的对象，如进程描述符等，这些对象的大小一般比较小，如果直接采用伙伴系统来进行分配和释放，不仅会造成大量的内存碎片，而且处理速度也太慢。

slab分配器是基于对象进行管理的，相同类型的对象归为一类(如进程描述符就是一类)，每当要申请这样一个对象，slab分配器就从一个slab列表中分配一个这样大小的单元出去，而当要释放时，将其重新保存在该列表中，而不是直接返回给伙伴系统，从而避免这些内碎片。slab分配器并不丢弃已分配的对象，而是释放并把它们保存在内存中。当以后又要请求新的对象时，就可以从内存直接获取而不用重复初始化。
对象高速缓存的组织如右下图所示，高速缓存的内存区被划分为多个slab，每个slab由一个或多个连续的页框组成，这些页框中既包含已分配的对象，也包含空闲的对象。
在cache和object中加入slab分配器，是在时间和空间上的折中方案。

另外为了解决多核和NUMA架构下效率问题，slab管理器kmem_cache又把slab page对象分为2层结构，从下往上依次为：

第一层为NUMA node下cpu共享page：管理器为kmem_cache_node，管理node下的slab对象，解决NUMA架构的内存访问效率问题。当本层的空闲page不足时，从伙伴系统申请空闲page；
第二层为per-cpu专属page：管理器为kmem_cache_cpu，管理cpu专属的slab对象，解决多核竞争问题。当本层的空闲page不足时，从第一层申请空闲page；

slab分配算法

slab分配算法采用cache 存储内核对象。当创建cache 时，起初包括若干标记为空闲的对象。对象的数量与slab的大小有关。开始，所有对象都标记为空闲。当需要内核数据结构的对象时，可以直接从cache 上直接获取，并将对象初始化为使用。
下面考虑内核如何将slab分配给表示进程描述符的对象。在Linux系统中，进程描述符的类型是struct task_struct ，其大小约为1.7KB。当Linux 内核创建新任务时，它会从cache 中获得struct task_struct 对象所需要的内存。Cache 上会有已分配好的并标记为空闲的struct task_struct 对象来满足请求。
Linux 的slab 可有三种状态：
满的：slab 中的所有对象被标记为使用。
空的：slab 中的所有对象被标记为空闲。
部分：slab 中的对象有的被标记为使用，有的被标记为空闲。
slab 分配器首先从部分空闲的slab 进行分配。如没有，则从空的slab 进行分配。如没有，则从物理连续页上分配新的slab，并把它赋给一个cache ，然后再从新slab 分配空间。

资料整理自：
[1] https://baike.baidu.com/item/slab
[2] http://www.cnblogs.com/wahaha02/p/6616957.html
[3] https://www.jianshu.com/p/c4ef33bde4f5