Linux内核的malloc实现（Oracle的cache buffer影子）

 

分类： Linux Kernel 2013-10-18 00:12  853人阅读  评论(1)  收藏  举报

Linux内核 c语言

本文原创为freas_1990，转载请标明出处：http://blog.csdn.net/freas_1990/article/details/12845059

 

本文介绍一下malloc的原理，对mm感兴趣（或者对Oracle internal实现感兴趣）的同学能在本文找到感兴趣的内容。

malloc主要由两个结构体做支撑。

[html]  view plain copy

1. struct bucket_desc { /* 16 bytes */  
2.  void   *page;  
3.  struct bucket_desc *next;  
4.  void   *freeptr;  
5.  unsigned short  refcnt;  
6.  unsigned short  bucket_size;  
7. };  

这个结构体是一个bucket descriptor。所有的object会通过链表链接起来。 

[html]  view plain copy

1. struct _bucket_dir {    /* 8 bytes */  
2.     int         size;  
3.     struct bucket_desc  *chain;  
4. };  

这是bucket的目录。

我画了两个图来描述一个page（页面;4k）如何被这两个结构体描述。

 

一个4k的页面被分配到若刚个16 bytes大小的bucket中

 

 

一个4k的页面被分配到若刚个32 bytes大小的bucket中。

那么，这些数据结构是如何被初始化的呢？

首先，在内核代码里，硬编码了如下数据。

[html]  view plain copy

1. struct _bucket_dir bucket_dir[] = {  
2.     { 16,   (struct bucket_desc *) 0},  
3.     { 32,   (struct bucket_desc *) 0},  
4.     { 64,   (struct bucket_desc *) 0},  
5.     { 128,  (struct bucket_desc *) 0},  
6.     { 256,  (struct bucket_desc *) 0},  
7.     { 512,  (struct bucket_desc *) 0},  
8.     { 1024, (struct bucket_desc *) 0},  
9.     { 2048, (struct bucket_desc *) 0},  
10.     { 4096, (struct bucket_desc *) 0},  
11.     { 0,    (struct bucket_desc *) 0}};   /* End of list marker */  

定义了粒度从16起的次方增长。

我写了简化的伪代码来描述整个流程。

malloc的伪代码：

[html]  view plain copy

1. procedure:  
2.     get the bucket_desc with object size(for example 16 bytes)  
3.     if(search bucket_desc list for free space){  
4.         return  bdesc->freeptr  
5.     } else {  
6.         if(init_bucket_desc){  
7.             return  bdesc->freeptr  
8.         } else {  
9.             panic("init_bucket_desc error")  
10.         }  
11.     }  
12.     init_bucket_desc:  
13.         if(page = get_one_page){  
14.             sepreated the page(4k) with dir->size  
15.             link all the pieces  
16.         } else {  
17.             panic("get page error")  
18.         }  
19. end procedure  

free的伪代码：

[html]  view plain copy

1. procedure:  
2.         get the bucket_desc with object size(for example 16 bytes)  
3.         if(search bucket_desc list for the related bucket_desc){  
4.             erase bdesc->freeptr  
5.             bdesc->refcnt--  
6.             if(bdesc->refcnt == 0){  
7.                 if(whole page NULL){  
8.                     if(!free_page(bdesc->page)){  
9.                         panic("free_page error")  
10.                     }  
11.                 }  
12.             }  
13.         } else {  
14.             panic("input pointer not right")  
15.         }  
16. end procedure  

关于数据结构性能的思考：

       这里的主要数据结构就是单向链表，查找的时间复杂为O(N)，属于暴力查找。

       用了10个元素的数组做分拆，当内存使用过大的时候，这个数据结构就不能承载了。

       或许采用一个hash或者树形结构能解决问题。

       不过，对于20年前的内存来说，完全能应付了:)