堆内存的管理

1.1         对于堆的管理，内核提供了两个系统调用brk和mmap。brk 用于更改堆顶地址，mmap则为进程分配虚拟地址空间。

1.2         当进程向glibc申请内存时，如果申请的内存的数量大于阀值的时候，glibc会采用mmap为进程分配一块虚拟地址空间，而不是采用brk来扩展栈顶的指针。

1.2.1    上述“阀值”缺省情况是128K，这个值可以通过函数来设置：

int mallopt(int param, int value);

param的取值可以为: M_MMAP_THRESHOLD, M_MMAP_MAX.

l  M_MMAP_THRESHOLD: libc中大块内存的阀值，大于该阀值的内存申请，内存管理使用mmap系统调用申请内存；如果小于该阀值的内存申请，内存管理使用brk系统调用来扩展堆顶指针。“阀值”缺省情况是128k。

l  M_MMAP_MAX: 该进程中最多使用mmap分配地址段的数量。

l  M_TRIM_THRESHOLD: 堆顶内存回收阀值，当堆顶连续空闲内存数量大于该阀值时, libc的内存管理将调用系统调用brk来调整堆顶地址，释放空间。该值缺省为128k。

l  M_TOP_PAD: 当libc内存管理器调用brk释放内存时，堆顶还需要保留的空闲内存数量。该值缺省为0。

1.2.2    如果一个进程频繁的申请、释放一个页面，必然会导致大量的系统调用，从而降低进程的效率。如果内存管理在进程进程释放一块内存时不是返回给系统而是将其cache住，留待下次使用，这样就可以减少系统调用的次数，从而提高进程的效率。它的代价是释放的内存不立刻返还给系统，以内存空间换取进程的效率。Libc就是采用这种策略，只有堆顶有连续128k(可通过mallopt配置)空闲内存时才会调用brk通知内核释放这段内存。这就导致下述的内存空洞。

1.2.3    如果想小块内存释放也会触发堆顶内存释放，有两种方法: (TRIM_FASTBINS 参见：19.4)

1.2.3.1   加上’-DTRIM_FASTBINS=1’,重新编译libc库。

1.2.3.2   调整MXFAST的值，将其设置为0，使得所有内存分配的值都大于MXFAST的值。

1.2.4    unmmap用于释放mmap申请的内存，该系统调用会立即释放内存。

1.3         内存空洞: 只要堆顶还有内存在使用，堆顶下方不管释放了多少内存都不会被释放。这个是由于linux内核选择通过调整堆顶来扩展和释放内存空间。

1.3.1    启示：

          l   尽可能早的申请长期不释放的内存。

          l   只在需要时申请内存，内存使用完应立即释放。

1.4         TRIM_FASTBINS: 当释放一个小块内存时，是否立即对fastbin进行合并；设置为1会进行立即合并，可以减少内存消耗，但降低内存分配释放的效率。

TRIM_FASTBINS与堆顶内存回收存在着一个接口：

在TRIM_FASTBINS=0时，当小于或者等于MXFAST的小块内存释放时，并不会触发堆段顶部内存释放，堆顶内存释放被延迟到大于MXFAST的内存释放时触发，这样有可能会增加内存的碎片。

在TRIM_FASTBINS=1时，小于MXFAST的小块内存释放也将触发堆顶内存释放。

1.5         内存碎片：分为内部碎片(已经分配给进程，但是不能被利用的内存)和外部碎片(还没有被分配出去，但是由于太小了而无法分配给申请内存的新进程。)。

1.5.1    内部碎片：因为所有的内存分配必须起始于可被 4、8 或 16 整除（视处理器体系结构而定）的地址或者因为MMU的分页机制的限制，决定内存分配算法仅能把预定大小的内存块分配给客户。假设当某个客户请求一个 43 字节的内存块时，因为没有适合大小的内存，所以它可能会获得 44字节、48字节等稍大一点的字节，因此由所需大小四舍五入而产生的多余空间就叫内部碎片。

1.5.2    外部碎片： 频繁的分配与回收物理页面会导致大量的、连续且小的页面块夹杂在已分配的页面中间，就会产生外部碎片。假设有一块一共有100个单位的连续空闲内存空间，范围是0~99。如果你从中申请一块内存，如10个单位，那么申请出来的内存块就为0~9区间。这时候你继续申请一块内存，比如说5个单位大，第二块得到的内存块就应该为10~14区间。如果你把第一块内存块释放，然后再申请一块大于10个单位的内存块，比如说20个单位。因为刚被释放的内存块不能满足新的请求，所以只能从15开始分配出20个单位的内存块。现在整个内存空间的状态是0~9空闲，10~14被占用，15~24被占用，25~99空闲。其中0~9就是一个内存碎片了。如果10~14一直被占用，而以后申请的空间都大于10个单位，那么0~9就永远用不上了，变成外部碎片。

1.5.3    减少内存碎片

l  需要考虑内存对齐问题

l  采用SlabAllocation机制：整理内存以便重复使用 (http://blog.csdn.net/xuzhonghai/article/details/7285821)

l  尽可能多次反复使用内存块，而不要每次都对内存块进行分割，以正好符合请求的存储量。分割内存块会产生大量的小内存碎片，犹如一堆散沙。以后很难把这些散沙与其余内存结合起来。比较好的办法是让每个内存块中都留有一些未用的字节。

l  将相邻空闲内存块连接起来是一种可以显著减少内存碎片的技术。

1.6         堆内存从低地址向高地址增长。

1.7         内存跟踪mtrace

1.7.1    Libc为内存调试提供了一系列的钩子函数，见malloc.h。

1.7.2    代码中调用mtrace();

1.7.3    运行程序前加 #export MALLOC_TRACE=mymemory.log

1.7.4    调用脚本(mcheck)分析结果

1.8         常用检测内存泄漏的工具 (http://www.cnblogs.com/wangkangluo1/archive/2012/06/05/2535509.html,http://elinux.org/Memory_Debuggers#mtrace)

1.8.1    mtrace

1.8.2    dmalloc

1.8.3    valgrind

1.8.3.1   valgrind tools:

1.8.3.1.1   memcheck: 用来检测程序中出现的内存问题，所有对内存的读写都会被检测到，一切对malloc、free、new、delete的调用都会被捕获。

l  最好加上-g选项编译程序。

1.8.3.1.2   callgrind

1.8.3.1.3   cachegrind

1.8.3.1.4   helgrind

1.8.3.1.5   massif

1.8.4    memwatch

1.8.5    mpatrol

1.8.6    dbgmem