堆内存释放,是从堆顶开始。那么如果堆中间的一块区域,大部分内存都释放了,堆顶还有一些会怎么样呢?
我们来看个例子:
#include <stdlib.h>
#include <stdio.h>
#include <string.h>
#include <unistd.h>
int main()
{
char *p[11];
int i;
for(i=0;i<10;i++)
{
p[i]=(char *)malloc(1024*2);
strcpy(p[i],"123");
}
p[10]=(char *)malloc(1024*2);
strcpy(p[10],"123");
for(i=0;i<10;i++)
{
free(p[i]);
}
pid_t pid=getpid();
printf("pid:%d\n",pid);
pause();
return 0;
}
这里我申请了 11 个2k 的内存,然后将前10 个2k 内存释放掉,只剩下堆顶一个2k。
按我们正常的逻辑,进程应该只是占用了一个物理页面,可实际上呢?
我们查看 memmap 的结果,可以看到
1 1 1 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
这个例子是,堆顶指针没变,堆顶下面的内存被释放了。
让我们来想想 libc 会怎么办?
第一个想法,也是最合理的方法,堆顶下面哪个页面空闲了,就将那个物理页面释放掉,返
还给系统。
Linux 内核只能通过缩小线性内存区的方式来释放物理内存。
方法一,通过使用系统调用 brk,来改变堆顶地址释放内存。
优点:
算法简单,系统调用少,效率高。
缺点:
堆顶下方的物理页面即使空闲也无法及时释放。
方法二:,通过将对应堆的线性区拆分,将中间的物理页面释放掉。
优点:
堆顶下方的内存能够得到即使的释放。
缺点:
算法复杂,涉及到线性区的拆分与合并,有可能会导致进程堆段形成多个不连续的小块
内存空间,对进程的性能影响较大。
综合以上因素,Linux 内核选则了通过调整堆顶来扩展和释放内存空间。
它也决定了,只要堆顶部还有内存在使用,堆顶下方不管释放了多少内存都不会被释放,这
也就是我们经常所说的内存空洞。
除了通过 brk 扩展堆顶地址外,我们还提到了另外一种内存分配方式mmap。当libc 在处理
大块内存分配时,其会调用mmap 来分配一块地址空间;当释放时,直接调用unmmap 释放
掉该段内存空间,因此对于这种大块内存分配的申请和释放,就不会存在内存空洞的问题。
你可以通过使用mmap 分配内存的阀值,来减少内存空洞的概率。代价是,可能会使用更多
的系统调用,降低进程的性能。
要想消除内存空洞的影响,就要求我们在申请和释放内存时,要严格依照就近原则,最先释
放堆顶地址的内存。可控制内存的申请和释放的顺序难度十分的大;另外由于内存碎片的影
响,每次申请得到的内存地址都带有一定的随机性,后面申请的内存,并不一定就意味着在
堆顶;这简直是Mission impossible。
做为一个程序员,我很受挫折,我无能为力,我调用 free 都释放内存,可它并不一定会返
还到系统中,我无法完全控制我程序的行为,谁又能保证堆顶没有那么一块正在使用的内存呢?
这也给很多程序员以藉口,在测试中我们程序内存使用量增长,要求他们去检查时,他们往
往会说,“内存我都释放了,这是内存空洞造成的,我也无能为力。”。老板也无话可说,内
存空洞简直成了我们的噩梦。
内存空洞和内存泄漏造成的内存增长是有区别的:
内存泄漏是申请了的内存没有释放,如果你在做多次同样的操作,进程所使用的内存应该保
持同样的一个速度进行增长。
内存空洞是申请并释放了的内存由于不处于堆顶无法返还给系统,但是这些内存还是能留给
进程自身使用,所以如果你做多次同样的操作,进程所使用的内存应该停留在一个水平线上,
不怎么增长,或者增长不多。
程序员可以根据这个现象来判断,你的进程中存在的是内存泄漏还是内存空洞。
在实际情况中,内存空洞的现象并很多,通过我的观察在堆中,更多的是内存的碎片而不是
内存空洞。因此程序员对于内存空洞只要了解这个概念,在申请分配内存时,本着就近原则
就可以了,需要的时候才分配内存,不需要了立刻释放。不必去严格的追求申请和释放的顺
序,也做不到。
后面我将会介绍一种方法,通过它你可以观察当前进程的内存分布情况,你可以清楚的知道
进程内存碎片和内存空洞的情况。
虽然我给大家吃了很多宽心丸,但很多人还是不放心,担心他自己成为内存空洞的受害者。
难道我们对于内存空洞真的是无能为力吗?
实际上堆的内存管理机制有很多种,你也可以按照自己的要求来自己编写内存管理机制。前
面我们介绍的是libc 中自带的内存管理机制Doug Lea Malloc。
Doug Lea Malloc:Doug Lea Malloc 实际上是完整的一组分配程序,其中包括 Doug Lea 的
原始分配程序,GNU libc 分配程序和 ptmalloc。 Doug Lea 的分配程序加入了索引,这使
得搜索速度更快,并且可以将多个没有被使用的块组合为一个大的块。它还支持缓存,以便
更快地再次使用最近释放的内存。
这里我简单介绍另外一种内存管理机制 BSD Malloc。
BSD Malloc:BSD Malloc 是随 4.2 BSD 发行的实现,包含在 FreeBSD 之中,这个分配程
序可以从预先确定大小的对象构成的池中分配对象。它有一些用于对象大小的 size 类,这
些对象的大小为 2 的若干次幂减去某一常数。所以,如果您请求给定大小的一个对象,它
就简单地分配一个与之匹配的 size 类。这样就提供了一个快速的实现,但是可能会浪费内
存。
据说这种算法可以消除内存空洞,因为它把原来的一个内存段,编程了多个内存段,从而减
小了内存空洞的影响,而性能下降不多。
有人尝试着将其移植到嵌入式 Linux 设备上,据说每个进程的内存的堆可以减少1/3,但是
否有负作用不清楚,有待检验。有兴趣的朋友可以尝试一下。