memcached源码剖析系列之内存存储机制（二）

最新推荐文章于 2017-11-09 10:19:43 发布

原创最新推荐文章于 2017-11-09 10:19:43 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

memcached 专栏收录该内容

2 篇文章

订阅专栏

在上一节中已经分析了memcached的内存分配管理初始化机制，在这节中我们将详细分析memcached中slab的管理与分配机制。

slabclass[MAX_NUMBER_OF_SLAB_CLASSES]数组是slab管理器（类型见上节），是memcached内存管理的核心数据结构，起着非常重要的作用。

slabclass[i]的内存示意图如下图所示：

（1） size和perslab保存着每个slab分配的chunk的大小，及可分配的chunk数。

（2） slablist是一个二维指针，指向一个指针列表，列表的长度为list_size * sizeof(void*)，列表中的一项指向一个slab。

（3） end_page_ptr是一个指向最新分配的slab的指针。

源码：

（1）do_slabs_newslab（）函数实现

//为该id的slab链分配一个新的slab
static int do_slabs_newslab(const unsigned int id) {
    slabclass_t *p = &slabclass[id];
    int len = p->size * p->perslab; 
    char *ptr;
	//grow_slab_list():如果slabs已经用完了，增长链表的长度
	//memory_allocate():为新slab分配memory
    if ((mem_limit && mem_malloced + len > mem_limit && p->slabs > 0) ||
        (grow_slab_list(id) == 0) ||
        ((ptr = memory_allocate((size_t)len)) == 0)) {

        MEMCACHED_SLABS_SLABCLASS_ALLOCATE_FAILED(id);
        return 0;
    }

    memset(ptr, 0, (size_t)len);
	//p->end_page_ptr:指向新分配的slab,p->end_page_free为新slab空余items数
    p->end_page_ptr = ptr;
    p->end_page_free = p->perslab;

    p->slab_list[p->slabs++] = ptr;
    mem_malloced += len;
    MEMCACHED_SLABS_SLABCLASS_ALLOCATE(id);

    return 1;
}

这个函数的作用是当一个slab用光后，又有新的item要插入这个id，那么它就会重新申请新的slab，申请新的slab时，对应id的slab链表就要增长（由grow_slab_list（）函数来实现），这个链表是成倍增长的，初始化值为16。

（2）grow_slab_list（）函数实现

static int grow_slab_list (const unsigned int id) {
    slabclass_t *p = &slabclass[id];
	//p->slabs:已经分配的slab数，p->list_size:slab链表的长度
    if (p->slabs == p->list_size) {//表示slabs已经用完
        size_t new_size =  (p->list_size != 0) ? p->list_size * 2 : 16;
        void *new_list = realloc(p->slab_list, new_size * sizeof(void *));
        if (new_list == 0) return 0;
        p->list_size = new_size;
        p->slab_list = new_list;
    }
    return 1;
}

（3）memory_allocate（）函数实现

static void *memory_allocate(size_t size) {
    void *ret;

    if (mem_base == NULL) {
        /* We are not using a preallocated large memory chunk */
        ret = malloc(size);
    } else {
        ret = mem_current;

        if (size > mem_avail) {
            return NULL;
        }

        /* mem_current pointer _must_ be aligned!!! */
        if (size % CHUNK_ALIGN_BYTES) {
            size += CHUNK_ALIGN_BYTES - (size % CHUNK_ALIGN_BYTES);
        }

        mem_current = ((char*)mem_current) + size;
        if (size < mem_avail) {
            mem_avail -= size;
        } else {
            mem_avail = 0;
        }
    }
    return ret;
}

该函数为一个slab分配p->size * p->perslab大小的内存，并由slab_list中一个指针指向它。

另外，memcached不会释放掉已用完的item指针的内存，其使用结构体slabclass_t中的slots二维指针来保存释放出来的item指针,sl_total表示总的数量,sl_curr表示的是目前可用的已经释放出来的item数量。

每一次要分配内存的时候,首先根据需要分配的内存大小在slabclass数组中查找索引最小的一个大于所要求内存的slab,如果slots不为空,那么就从这里返回内存,否则去查找end_page_ptr,如果也没有,那么就只能返回NULL了.

每一次释放内存的时候,同样的找到应该返回内存的slab元素,改写前面提到的slot指针和sl_curr数。这个过程由do_slabs_alloc（）和do_slabs_free（）完成。

memcached的内存分配机制的缺点

memcached的内存分配是有冗余的:

(1) 当一个slab不能被它所拥有的chunk大小整除时，slab尾部剩余的空间就被丢弃了。

(2) memcached的另外一个内存冗余发生在保存item的过程中，item总是小于或等于chunk大小的，当item小于chunk大小时，就又发生了空间浪费。