浅析基于glibc的malloc

最近看了几个malloc和free的问题,总结一下。

malloc和free由谁提供?

一般来讲,它们是C Standard Library提供的而不是由操作系统的内核实现。例如微软的是msvcrt,Linux下是glibc。当然也有第三方库函数,比如jemalloc、tcmalloc。所以每个malloc和free的实现都有所不同,而且这些实现和内核之间是保留有一定自由度的。比如每次malloc是多大空间,每次free之后又归还多少给OS,都是依据不同实现而定的。本文malloc/free的讨论都是基于Linux/glibc的。

操作系统中的内存管理

在操作系统的课程中讲到过空闲内存管理的策略,一种方式是使用位图,用一个bit代表固定大小的一片内存区域(比如4B),0表示未分配,1表示已分配。这种方法存在一些问题:

  • 每次只能分配区块大小的整数倍的空间,如果申请空间不是整数倍,其中有部分被浪费。
  • 每个区块的大小该如何定义?过大的话浪费过多,过小的话位图表太大。
  • 每次寻找空间时都要搜索位图中连续的K个0,这个操作非常耗时。

第二种方式是使用链表。将内存中的每个已分配区域和未分配区域做成节点形式,最终形成一个链表。这种方法的优点如下:

  • 可以动态分配区域,比如我malloc了1KB内存,而在链表中找到了4KB的空闲,那么可将它裂成两个节点,1KB和3KB。1KB标记使用,3KB标记空闲。这样避免空间浪费。
  • 每次分配的时候不需要遍历链表,根据不同的算法,如first fit, next fit或best fit都可以提高效率。

glibc中的malloc

malloc的基本原理

linux采用的是glibc中堆内存管理ptmalloc实现,虚拟内存的布局规定了malloc申请位置以及大小,malloc一次性能申请小内存(小于128KB),分配的是在堆区(heap),用sbrk()进行对齐生长,而malloc一次性申请大内存(大于128KB时)分配到的是在映射区,而不是在堆区,采用的mmap()系统调用进行映射。malloc的实现与物理内存是无关的,内核为每个进程维护一张页表,页表存储进程空间内每页的虚拟地址,页表项中有的虚拟内存页对应着某个物理内存页面,也有的虚拟内存页没有实际的物理页面对应。无论malloc通过sbrk还是mmap实现,分配到的内存只是虚拟内存,而且只是虚拟内存的页号,代表这块空间进程可以用,实际上还没有分配到实际的物理页面。等你的进程访问到这个新分配的内存空间的时候,如果其还没有对应的物理页面分配,就会产生缺页中断,内核这个时候会给进程分配实际的物理页面,以与这个未被映射的虚拟页面对应起来。

链表的方法只代表了一种思路,真正使用这种方法是有很多缺点的,最大的问题就内存碎片。如果malloc申请的区域都不大,那么大片的空闲区域会不断裂开,形成gap。

ptmalloc中的chunk

glibc中的malloc实现是基于链表的思想,但远远不止上面那么简单。glibc中是用ptmalloc来管理内存的。不管内存在哪里分配,用什么方法分配,用户请求分配的空间在ptmalloc中都是用一个chunk来表示。用户调用free()之后释放的内存也不会立即返回给操作系统,相反,它们会被表示成一个chunk,ptmalloc使用特定的数据结构来管理这些chunk。一个正在使用的chunk结构大概如下:



其中,mem才是返回给用户的指针。一个空闲的chunk结果大概如下:

这样chunk和chunk之间就形成了双向链表。

管理chunk的容器

bins

上面说了,如果仅仅形成链表是不够的。因为操作系统分配和回收内存的开销是非常大的,所以用户free掉的内存并不是马上归还给操作系统,试想如果每次free1B都要归还,那就太尴尬了。所以free的内存被进行统一管理。当用户进行下一次分配的时候,会试图首先在空闲chunk中挑选一块给用户,这样就避免了频繁的系统调用,降低内存开销。ptmalloc将相似大小的chunk用双向链表链接起来,形成一个bin,这些bin用一个一维数组表示:


数组前64个bin存放小块的chunk的链表,大的chunk链表都放在后面。当一个chunk被free掉的时候,ptmalloc会检查他的前后chunk是否也是空闲,如果是的话,就把他们合并成一个大的chunk,放在unsorted bin中。

fast bins

一般情况下,程序申请的chunk都比较小,如果free掉之后合并这些chunk,然后再申请了小块内存,那需要再次裂开节点,这样无疑是低效的。所以小块内存一般都会被存在fast bin中,这里的chunk是不合并的,用于满足小块内存申请的需求。不大于max_fast(通常为64B)的chunk被释放后,通常会首先进入fast bin。程序会先查找fast_bin,然后再查找bins

unsorted bins

unsorted bins是bins的第一个区域。如果在fast bins中没有找到合适的chunk,则会到unsorted bins中进行寻找。如果在unsorted bins中也未找到,将unsorted bins中的chunk放回到bins中,再到bins中寻找。所以其实unsorted bins可以看作bins的一个缓冲区。

结尾

并非所有chunk都按上述方式组织,事实上除此之外,还有top chunk,mmaped chunk和last remainder。本文也只是简单介绍一下管理chunk的数据结构,基本上可以解释两个问题:

1.一般来讲,小内存的分配速度要比大内存速度快些。

2.并非malloc多少就给多少,实际在内存中要多占一些空间,因为有chunk。

3.一般来讲,free掉的内存并非马上还给操作系统,而是留着下一次进行分配。

至于具体的分配和释放操作流程是比较复杂的,本处就暂且先按下不表了






展开阅读全文

没有更多推荐了,返回首页