memcached内存分配机制

Page为内存分配的最小单位。

Memcached 的内存分配以page为单位，默认情况下一个page是1M，可以通过-I参数在启动时指定。如果需要申请内存 时，memcached会划分出一个新的page并分配给需要的slab区域。page一旦被分配在重启前不会被回收或者重新分配（page ressign已经从1.2.8版移除了） 

Slabs划分数据空间。

Memcached 并不是将所有大小的数据都放在一起的，而是预先将数据空间划分为一系列slabs，每个slab只负责一定范围内的数据存储。如 下图，每个slab只存储大于其上一个slab的size并小于或者等于自己最大size的数据。例如：slab 3只存储大小介于137 到 224 bytes的数据。如果一个数据大小为230byte将被分配到slab 4中。从下图可以看出，每个slab负责的空间其实是不等的，memcached默认情况下下一个slab的最大值为前一个的1.25倍，这个可以通过修 改-f参数来修改增长比例。 

Chunk才是存放缓存数据的单位。

Chunk 是一系列固定的内存空间，这个大小就是管理它的slab的最大存放大小。例如：slab 1的所有chunk都是104byte，而slab 4的所有chunk都是280byte。chunk是memcached实际存放缓存数据的地方，因为chunk的大小固定为slab能够存放的最大值， 所以所有分配给当前slab的数据都可以被chunk存下。如果时间的数据大小小于chunk的大小，空余的空间将会被闲置，这个是为了防止内存碎片而设 计的。例如下图，chunk size是224byte，而存储的数据只有200byte，剩下的24byte将被闲置。 

Slab的内存分配。

Memcached在启动时通过-m指定最大使用内存，但是这个不会一启动就占用，是随着需要逐步分配给各slab的。
         如果一个新的缓存数据要被存放，memcached首先选择一个合适的slab，然后查看该slab是否还有空闲的chunk，如果有则直接存放进去；如 果没有则要进行申请。slab申请内存时以page为单位，所以在放入第一个数据，无论大小为多少，都会有1M大小的page被分配给该slab。申请到 page后，slab会将这个page的内存按chunk的大小进行切分，这样就变成了一个chunk的数组，在从这个chunk数组中选择一个用于存储 数据。如下图，slab 1和slab 2都分配了一个page，并按各自的大小切分成chunk数组。 

Memcached内存分配策略。

综合上面的介绍，memcached的内存分配策略就是：按slab需求分配page，各slab按需使用chunk存储。
这里有几个特点要注意，

Memcached分配出去的page不会被回收或者重新分配Memcached申请的内存不会被释放slab空闲的chunk不会借给任何其他slab使用

 

memcached声明了一个slabclass_t结构体类型，并且定义了一个slabclass_t类型数组slabclass(是一个全局变量)。可以把数组的每一个元素称为一个slab分配器。一个slab分配器能分配的内存大小是固定的，不同的slab分配的内存大小是不同的。下面借一幅经典的图来说明：

        

 

 

        从每个slab class(slab分配器)分配出去的内存块都会用指针连接起来的(连起来才不会丢失啊)。如下图所示：

        

 

 

        上图是一个逻辑图。每一个item都不大，从几B到1M。如果每一个item都是地动态调用malloc申请的，势必会造成很多内存碎片。所以memcached的做法是，先申请一个比较大的一块内存，然后把这块内存划分成一个个的item，并用两个指针(prev和next)把这些item连接起来。所以实际的物理图如下所示：

        

        上图中，每一个slabclass_t都有一个slab数组。同一个slabclass_t的多个slab分配的内存大小是相同的，不同的slabclass_t分配的内存大小是不同的。因为每一个slab分配器能分配出去的总内存都是有一个上限的，所以对于一个slabclass_t来说，要想分配很多内存就必须有多个slab分配器。

 

参考：http://www.cnblogs.com/UnGeek/p/5136410.html

http://blog.csdn.net/luotuo44/article/details/42737181

转载于:https://my.oschina.net/u/945874/blog/910699