dlmalloc

http://g.oswego.edu/dl/html/malloc.html

doug lea从87年开始写的dynamic memory allocator,到现在一直在发展,历时20+年的进化,成为一些版本的linux的内存分配器,在我见过的一些给力游戏engine中也有应用。

说到dynamic memory allocator,不禁会想到在ubi时候第一个项目,看见当时主程写的dynamic memory allocator,大惊:居然内存分配也要自己写的。里面各种hash,cache,对小内存的特殊处理,还根据游戏的特性专门做一些专区优化等。哈哈,那个项目真是让我印象深刻,看前辈的代码常常会有惊喜:我草,还可以这样写啊。里面的程序员很牛,大家嘻嘻哈哈连打再闹的就把事情完成的非常牛逼,以至于让我觉得做项目就这么简单。

-------------------------

goals

dl提到memory allocator需要在这些goals上取得平衡(清晰的思路我喜欢)

  • 兼容性
  • 好的移植性
  • 空间和时间上的效率
  • locality:分配内存时候尽可能保证在空间上相近,来提升cache performance
  • 好的可性能测试和debug能力
实际实现中,的确有遇到不少矛盾的地方,一些平衡工作就要做了。
------------------------
算法
  • boundary tags:在chunk的首尾都是有size information的,这样就使得两个重要功能成为可能:
    • 两个free chunk可以merge起来
    • 可以从任意位置开始遍历chunks
  • binning:把chunk以size进行分组,以类似hash表的方式表示,以best fit的方式进行分配
------------------------
locality
这个特性与其他的特性比如best fit是有冲突的,所以做一个优先级的排列,如果其他的都满足才会到这个优先级来尽量满足最近分配的东西在内存地址上也是近的。

------------------------
caching
merge和split chunk都是非常耗时的,所以可以做一些事情来降低这个损耗。
  • deferred merge,如果刚好free了一个,又alloc一个同样大小的,就免去了一次split和一次merge了
  • pre split,不用每一次alloc才split一点,可以在条件满足的情况下,一次split很多
  • 一些启发数算法,也就是有条件有规则的猜了,但是这种就是不能在所有情况下达到最好,但是启发数算法是有其存在道理的。
在后面的dlmalloc version中只是针对小size的内存进行caching。




dlmalloc是目前一个十分流行的内存分配器,其由Doug Lea(主页为http://gee.cs.oswego.edu/)从1987年开始编写,到目前为止,最新版本为2.8.3(可以从ftp://g.oswego.edu/pub/misc/malloc.c获取),由于其高效率等特点被广泛的使用(比如一些linux系统等用的就是dlmalloc或其变形,比如ptmalloc,主页为http://www.malloc.de/en/index.html)和研究(各位可以搜索关键字“GCspy”)。 dlmalloc的实现只有一个源文件(还有一个头文件),大概5000行,其内注释占了大量篇幅,由于有这么多注释存在的情况下,表面上看上去很容易懂,的确如此,在不追求细节的情况,对其大致思想的确很容易了解(没错,就只是了解而已),但是dlmalloc作为一个高品质的佳作,实现上使用了非常多的技巧,在实现细节上不花费一定的精力是没有办法深入理解其为什么这么做,这么做的好处在哪,只有当真正读懂后回味起来才发现它是如此美妙。 lenky0401个人博客将陆续推出对dlmalloc的解析(针对Doug Lea Malloc的最新版Version 2.8.3,未做说明的情况下以32位平台,8字节对齐作为假定平台环境设置考虑),由于个人水平有限,因此也不能完全保证对dlmalloc的所有理解都准备无误, 但是所有内容均出自个人的理解而并非存心妄自揣测来愚人耳目,所以如果读者发现其中有什么错误,请勿见怪,如果可以则请来信告之,并欢迎来信讨论(lenky0401@163.com)。 这一系列文章是lenky0401在看完dlmalloc的大部分代码后的再总结,不能保证对dlmalloc的整体完全把握,贴出这些只是希望可以提前收到对此有研究的网友的指点,以便在最后对这一系列文章整理而形成的PDF文档中错误能少一些。至于对于现在贴出来的内容中包含的错误给大家造成的不便提前说声抱歉。:) 描述的内容不会包含dlmalloc全部代码,但会将这其中涉及到的一些技巧尽量讲出,我相信对dlmalloc源代码不感兴趣的朋友也可以学到这些独立的技巧而使用在自己的编程实践中。:) 最后,转载请保留本博客地址连接[http://lenky0401.cublog.cn],谢谢。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值