redis的内存分配主要就是作者将不同平台下的内存分配malloc()进行了一个统一，和统计内存占有量，是对malloc和free进行了一层简单的封装。具体的实现在zmalloc.h和zmalloc.c中。
本文将对redis的内存管理相关几个比较重要的函数做逐一的介绍。
/***************************** Part1：zmalloc.h *******************************/
#ifndef __ZMALLOC__H
#define __ZMALLOC__H
#define __xstr(s) __str(s)
//此处使用#将宏(这里是#紧跟的那个s)“字符串化”；使用##能将左右两边的标签组合在一起，而且两个标签之间不存在空格
#define __str(s) #s
//分别判断使用tcmalloc库/jemalloc库/苹果库哪个作为底层的malloc函数调用
#if defined(USED_TCMALLOC)
#define ZMALLOC_LIB("tcmalloc-" __xstr(TC_VERSION_MAJOR) "." __xstr(TC_VERSION_MINOR))
#include <google/tcmalloc.h>
#if (TC_VERSION_MAJOR == 1 && TC_VERSION_MINOR >=6) || (TC_VERSION_MAJOR > 1)
#define HAVE_MALLOC＿SIZE 1 //分别定义出内存占有量的计算方法
#define zmalloc_size(p) tc_malloc_size(p)
#else
#error "new version of tcmalloc required"
#endif
#elif defined(USE_JEMALLOC)
#define ZMALLOC_LIB("jemalloc-" __xstr(JEMALLOC_VERSION_MAJOR) "." __xstr(JEMAOOLC_VERSION_MINOR) "." __xstr(JEMALLOC_VERSION_BUGFIX))
#include <jemalloc/jemalloc.h>
#if (JEMALLOC_VERSION_MAJOR == 2 && JEMALLOC_VERSION_MINOR >= 1) || (JEMALLOC_VERSION_MAJOR > 2)
#define HAVE_MALLOC_SIZE 1
#define zmalloc_size(p) je_malloc_usable_size(p)
#else
#error "Newer version of jemalloc required"
#endif
#elif defined(__APPLE__)
#include <malloc/malloc.h>
#define HAVE_MALLOC_SIZE 1
#define zmalloc_size(p) malloc_size(p)
#endif
#ifndef ZMALLOC_LIB
#define ZMALLOC_LIB "libc"
#endif
//定义一些函数的原型
void *zmalloc(size_t size);
void zcalloc(size_t size);
void zrealloc(void *ptr,size_t size);
void zfree(void *ptr);
char *zstrdup(const char *s);
void zmalloc_used_memory(void);
void zmalloc_enable_thread_safeness(void);
void zmalloc_set_oom_handler(void(*oom_handler)(size_t));
float zmalloc_get_fragmentation_ratio(void);
size_t zmalloc_get_rss(void);
size_t zmalloc_get_private_dirty(void);
void zlibc_free(void *ptr);
#ifndef HAVE_MALLOC_SIZE
size_t zmalloc_size(void *ptr);
#endif
#endif /************************************ Part2：zmalloc.c *************************************/
#include <stdio.h>
#include <stdlib.h>
//将这个函数定义在"zmalloc.h"之前就是为了避免调用jemallor或者是其他库的标准操作器，而且调用原始C语言函数库"libc"中的free()函数
void zlibc_free(void *ptr)
{
free(ptr);
}
#include <string.h>
#include <pthread.h>
#include "config.h"
#include "zmalloc.h"
//PREFIX_SIZE用来记录malloc已分配到的内存大小
//tc_malloc/je_malloc/Mac平台分别采用tc_malloc_size/malloc_size/je_malloc_usable_size（不需要单独开空间计算得到的内存大小，PREFIX_SIZE值置为0）
//linux和sun平台分别采用sizeof(size_t)=8字节和sizeof(long long)定长字段记录，所以要记录分配空间的大小
#ifdef HAVE_MALLOC_SIZE
#define PREFIX_SIZE (0)
#else
#if defined(__sun) || defined(__sparc) || defined(__sparc__)
#define PREFIX_SIZE (sizeof(long long))
#else
#define PREFIX_SIZE (sizeof(size_t))
#endif
#endif
//当使用tcmalloc库/jemalloc库的时候，显式覆盖malloc/calloc/realloc/free的方法
#if defined(USE_TCMALLOC)
#define malloc(size) tc_malloc(size)
#define calloc(count,size) tc_malloc(count,size)
#define realloc(ptr,size) tc_realloc(ptr,size)
#define free(ptr) tc_free(ptr)
#elif defined(USE_JEMALLOC)
#define malloc(size) je_malloc(size)
#define calloc(count,size) je_calloc(count,size)
#define realloc(ptr,size) je_realloc(ptr,size)
#define free(prt) je_free(ptr)
#endif
#ifdef HAVE_ATOMIC
#define update_zmalloc_stat_add(__n) __sync_add_and_fetch(&used_mempry,(__n))
#define update_zmalloc_stat_sub(__n) __sync_sub_and_fetch(&used_memory,(__n))
#else
#define update_zmalloc_stat_add(__n) do{ \
pthread_mutex_lock(&used_memory_mutex); \
used_memory += (__n); \
pthread_mutex_unlock(&used_memory_mutex); \
} while(0) //只执行1次
#define update_zmalloc_stat_sub(__n) do{ \
//进程中存在多线程的话，需要加锁进行变量的修改
pthread_mutex_lock(&used_memory_mutex); \
used_memory -= (__n); \
pthread_mutex_unlock(&used_memory_mutex); \
} while(0)
#endif
//定义在分配和释放内存的时候更新used_memory的值（用到上面内存分配的原子操作add和sub函数）
//if结构判断语句中返回的是对_n末两位进行截断的结果：sizeof(long)在32位系统下的二进制表现形式为：100
//if结构成立证明当前分配的内存大小有碎片（即_n值不是内存分配单元的整数倍），所以后面有个+=sizeof(long)...的过程就是为了补齐
#define update_zmalloc_stat_alloc(__n) do{ \
size_t _n = (__n); \
if(_n&(sizeof(long)-1))\
_n += sizeof(long) -(_n&(sizeof(long)-1)); \
if(zmalloc_thread_safe){ \
update_zmalloc_stat_add(_n); \
}else{ \
used_memory += _n; \
} \
} while(0)
#define update_zmalloc_stat_free(__n) do{ \
size_t _n = (__n); \
if(_n&(sizeof(long)-1))
_n += sizeof(long) -(_n&(sizeof(long)-1)); \
if(zmalloc_thread_safe){ \
update_zmalloc_stat_sub(_n); \
}else{ \
used_memory -= _n; \
} \
} while(0)
static size_t used_memory = 0; //定义当前进程使用的内存总量
static int zmalloc_thread_safe = 0;
pthread_mutex_t used_memory_mutex = PTHREAD_MUTEX_INITIALIZER;
//异常处理函数
static void zmalloc_default_oom(size_t size)
{
fprintf(stderr,"zmalloc：Out of memoty trying to allocate %zu bytes\n",size);
fflush(stderr);
abort();
}
static void (*zmalloc_oom_handler)(size_t) = zmalloc_default_oom;
void *zmalloc(size_t size){
//PREFIX_SIZE代表是否需要存储额外的变量prefix所占的内存字节数：Linux下为sizeof(size_t)=8
void *ptr = malloc(size+PREFIX_SIZE);
if(!ptr) zmalloc_oom_handler(size);
#ifdef HAVE_MALLOC_SIZE //如果在有size函数能够返回当前内存分配量情况下
update_zmalloc_stat_alloc(zmalloc_size(ptr)); //此时PREFIX_SIZE=0，更新used_memory
return ptr;
#else
//在只知道内存分配单元大小，没有size函数来获取当前使用的内存大小情况下（如Linux+sun平台等）
*((size_t*)ptr) = size; //给当前分配空间的起始位置先存储变量size
update_zmalloc_stat_alloc(size+PREFIX_SIZE); //更新used_memory
//将分配指针位置向后移动PREFIX_SIZE尺寸，因为先保存size_t size，其占空间为PREFIX_SIZE大小，移动后返回的是能用空间的起始位置
return (char*)ptr+PREFIX_SIZE;
#endif
}
void *zcalloc(size_t size)
{
void *ptr = calloc(1,size+PREFIX_SIZE); //分配1个长度为size+PREFIX_SIZE大小的连续空间
if(!ptr) zmalloc_oom_handler(size);
#ifdef HAVE_MALLOC_SIZE
update_zmalloc_stat_alloc(zmalloc_size(ptr));
return ptr;
#else
*((size_t*)ptr) = size;
update_zmalloc_stat_alloc(size+PREFIX_SIZE);
return (char*)ptr+PREFIX_SIZE;
#endif
}
//给一个内存块分配一个新的长度的连续空间
void *zrealloc(void *ptr,size_t size)
{
#ifndef HAVE_MALLOC_SIZE
void *realptr;
#endif
size_t oldsize;
void *newptr;
#ifdef HAVE_MALLOC_SIZE
oldsize = zmalloc_size(ptr);
newptr = realloc(ptr,size);
if(!newptr) zmalloc_oom_handler(size);
update_zmalloc_stat_free(oldsize);
update_zmalloc_stat_alloc(zmalloc_size(newptr));
return newptr;
#else
//内存块向前移动PREFIX_SIZE字节的位置（存储的是内存分配的size大小值）
realptr = (char*)ptr-PREFIX_SIZE;
oldsize = *((size_t*)realptr)；
newptr = realloc(realptr,size+PREFIX_SIZE);
if(!newptr) zmalloc_oom_handler(size);
//给新的内存块设值数据
*((size_t*)newptr) = size;
update_zmalloc_stat_free(oldsize);
update_zmalloc_stat_alloc(size); //这里为什么不要加上PREFIX_SIZE？
return (char*)newptr+PREFIX_SIZE;
#endif
}
//返回当前分配内存块的大小
#ifndef HAVE_MALLOC_SIZE
size_t zmalloc_size(void *ptr)
{
void *realptr = (char*)ptr - PREFIX_SIZE;
size_t size = *((size_t*)realptr);
if(size&(sizeof(long)-1))
size += sizeof(long) - (size&(sizeof(long)-1));
return size+PREFIX_SIZE;
}
#endif
//释放指定的内存空间
void zfree(void *ptr)
{
#ifndef HAVE_MALLOC_SIZE
void *realptr;
size_t oldsize;
#endif
if(ptr == NULL) return;
#ifdef HAVE_MALLOC_SIZE
update_zmalloc_stat_free(zmalloc_size(ptr));
free(ptr);
#else
realptr = (char*)ptr - PREFIX_SIZE;
oldsize = *((size_t*)realptr); //前面这两行是否位置反了？
update_zmalloc_stat_free(oldsize+PREFIX_SIZE);
free(realptr);
#endif
}
//复制一个字符串
char *zstrdup(const char *s)
{
size_t l = strlen(s)+1; //memcpy不会遇到‘/0’停止，增加额外的一个字节存储'/0'的内容
char *p = zmalloc(l);
memcpy(p,s,l);
return p;
}
//返回当前已经使用的内存大小
size_t zmalloc_used_memory(void)
{
size_t um;
if(zmalloc_thread_safe){
#ifdef HAVE_ATOMIC
um = __sync_add_and_fetch(&used_memory,0);
#else
pthread_mutex_lock(&used_memory_mutex);
um = used_memory;
pthread_mutex_unlock(&used_memory_mutex);
#endif
}
else{
um = used_memory;
}
return um;
}
void zmalloc_enable_thread_safeness(void)
{
zmalloc_thread_safe = 1;
}
//设置异常处理的函数
void zmalloc_set_oom_handler(void(*oom_handler)(size_t))
{
zmalloc_oom_handler = oom_handler;
}zmalloc
在zmalloc函数中，实际可能会每次多申请一个 PREFIX_SIZE的空间。从如下的代码中看出，如果定义了宏HAVE_MALLOC_SIZE，那么 PREFIX_SIZE的长度为0。其他的情况下，都会多分配至少8字节的长度的内存空间。
- zmalloc.c
#ifdef HAVE_MALLOC_SIZE
#define PREFIX_SIZE (0)
#else
#if defined(__sun) || defined(__sparc) || defined(__sparc__)
#define PREFIX_SIZE (sizeof(long long))
#else
#define PREFIX_SIZE (sizeof(size_t))
#endif
#endifvoid *zmalloc(size_t size) {
void *ptr = malloc(size+PREFIX_SIZE);
if (!ptr) zmalloc_oom_handler(size);
#ifdef HAVE_MALLOC_SIZE
update_zmalloc_stat_alloc(zmalloc_size(ptr));
return ptr;
#else
*((size_t*)ptr) = size;
update_zmalloc_stat_alloc(size+PREFIX_SIZE);
return (char*)ptr+PREFIX_SIZE;
#endif
}
这么做的原因是因为： tcmalloc 和 Mac平台下的 malloc 函数族提供了计算已分配空间大小的函数（分别是tcmallocsize和mallocsize），所以就不需要单独分配一段空间记录大小了。而针对linux和sun平台则要记录分配空间大小。对于linux，使用sizeof(sizet)定长字段记录；对于sun os，使用sizeof(long long)定长字段记录。因此当宏HAVE_MALLOC_SIZE没有被定义的时候，就需要在多分配出的空间内记录下当前申请的内存空间的大小。
update_zmalloc_stat_alloc
update_zmalloc_stat_alloc 是一个宏，因为sizeof(long) == 8 [64位系统中]，所以其实第一个if的代码等价于if(_n&7) _n += 8 - (_n&7); 这段代码就是判断分配的内存空间的大小是不是8的倍数。如果内存大小不是8的倍数，就加上相应的偏移量使之变成8的倍数。_n&7 在功能上等价于 _n%8，不过位操作的效率显然更高。
#define update_zmalloc_stat_alloc(__n) do { \
size_t _n = (__n); \
if (_n&(sizeof(long)-1)) _n += sizeof(long)-(_n&(sizeof(long)-1)); \
if (zmalloc_thread_safe) { \
update_zmalloc_stat_add(_n); \
} else { \
used_memory += _n; \
} \
} while(0) malloc函数本身能够保证分配的内存是8字节对齐的，如果要分配的内存不是8的倍数，那么malloc就会多分配一点，来凑成8的倍数。所以这段代码真正的作用是获得使用内存的精确大小。
第二个if主要判断当前是否处于线程安全的情况下。如果处于线程安全的情况下，就使用update_zmalloc_stat_add宏来更改全局变量used_memory。否则的话就直接加上n。
#define update_zmalloc_stat_add(__n) do { \
pthread_mutex_lock(&used_memory_mutex); \
used_memory += (__n); \
pthread_mutex_unlock(&used_memory_mutex); \
} while(0) zmalloc_size
在zmalloc.h的代码中，有一段如下定义的代码：
#if defined(USE_TCMALLOC)
#define ZMALLOC_LIB ("tcmalloc-" __xstr(TC_VERSION_MAJOR) "." __xstr(TC_VERSION_MINOR))
#include <google/tcmalloc.h>
#if (TC_VERSION_MAJOR == 1 && TC_VERSION_MINOR >= 6) || (TC_VERSION_MAJOR > 1)
#define HAVE_MALLOC_SIZE 1
#define zmalloc_size(p) tc_malloc_size(p)
#else
#error "Newer version of tcmalloc required"
#endif
#elif defined(USE_JEMALLOC)
#define ZMALLOC_LIB ("jemalloc-" __xstr(JEMALLOC_VERSION_MAJOR) "." __xstr(JEMALLOC_VERSION_MINOR) "." __xstr(JEMALLOC_VERSION_BUGFIX))
#include <jemalloc/jemalloc.h>
#if (JEMALLOC_VERSION_MAJOR == 2 && JEMALLOC_VERSION_MINOR >= 1) || (JEMALLOC_VERSION_MAJOR > 2)
#define HAVE_MALLOC_SIZE 1
#define zmalloc_size(p) je_malloc_usable_size(p)
#else
#error "Newer version of jemalloc required"
#endif
#elif defined(__APPLE__)
#include <malloc/malloc.h>
#define HAVE_MALLOC_SIZE 1
#define zmalloc_size(p) malloc_size(p)
#endif
#ifndef ZMALLOC_LIB
#define ZMALLOC_LIB "libc"
#endif可以看如果使用了jemalloc tcmalloc 或者apple系统下，都提供了检测内存块大小的函数，因此 zmalloc_size就使用相应的库函数。如果默认使用libc的话则 zmalloc_size函数有以下的定义:
#ifndef HAVE_MALLOC_SIZE
size_t zmalloc_size(void *ptr) {
void *realptr = (char*)ptr-PREFIX_SIZE;
size_t size = *((size_t*)realptr);
/* Assume at least that all the allocations are padded at sizeof(long) by
* the underlying allocator. */
if (size&(sizeof(long)-1)) size += sizeof(long)-(size&(sizeof(long)-1));
return size+PREFIX_SIZE;
}
#endifzfree
有分配就有内存回收，zfree 函数就是实现内存回收的功能。
void zfree(void *ptr) {
#ifndef HAVE_MALLOC_SIZE
void *realptr;
size_t oldsize;
#endif
if (ptr == NULL) return;
#ifdef HAVE_MALLOC_SIZE
update_zmalloc_stat_free(zmalloc_size(ptr));
free(ptr);
#else
realptr = (char*)ptr-PREFIX_SIZE;
oldsize = *((size_t*)realptr);
update_zmalloc_stat_free(oldsize+PREFIX_SIZE);
free(realptr);
#endif
}上面的代码可以看出，根据用的库不相同，回收的时候也采用了不同的方法。
#else
realptr = (char*)ptr-PREFIX_SIZE;
oldsize = *((size_t*)realptr);
update_zmalloc_stat_free(oldsize+PREFIX_SIZE);
free(realptr);
#endif可以发现如果使用的libc库，则需要将ptr指针向前偏移8个字节的长度，回退到最初malloc返回的地址，然后通过类型转换再取指针所指向的值。通过zmalloc()函数的分析，可知这里存储着我们最初需要分配的内存大小（zmalloc中的size），这里赋值给oldsize。update_zmalloc_stat_free()也是一个宏函数，和zmalloc中update_zmalloc_stat_alloc()大致相同，唯一不同之处是前者在给变量used_memory减去分配的空间，而后者是加上该空间大小。
最后free(realptr)，清除空间。
zcalloc
zcalloc 函数与zmalloc函数的功能基本相同，但有2点不同的是:
- 分配的空间大小是 size * nmemb。;
- calloc()会对分配的空间做初始化工作（初始化为0），而malloc()不会。
void *zcalloc(size_t size) {
void *ptr = calloc(1, size+PREFIX_SIZE);
if (!ptr) zmalloc_oom_handler(size);
#ifdef HAVE_MALLOC_SIZE
update_zmalloc_stat_alloc(zmalloc_size(ptr));
return ptr;
#else
*((size_t*)ptr) = size;
update_zmalloc_stat_alloc(size+PREFIX_SIZE);
return (char*)ptr+PREFIX_SIZE;
#endif
}zrealloc
zrealloc 函数用来修改内存大小。具体的流程基本是分配新的内存大小，然后把老的内存数据拷贝过去，之后释放原有的内存。
void *zrealloc(void *ptr, size_t size) {
#ifndef HAVE_MALLOC_SIZE
void *realptr;
#endif
size_t oldsize;
void *newptr;
if (ptr == NULL) return zmalloc(size);
#ifdef HAVE_MALLOC_SIZE
oldsize = zmalloc_size(ptr);
newptr = realloc(ptr,size);
if (!newptr) zmalloc_oom_handler(size);
update_zmalloc_stat_free(oldsize);
update_zmalloc_stat_alloc(zmalloc_size(newptr));
return newptr;
#else
realptr = (char*)ptr-PREFIX_SIZE;
oldsize = *((size_t*)realptr);
newptr = realloc(realptr,size+PREFIX_SIZE);
if (!newptr) zmalloc_oom_handler(size);
*((size_t*)newptr) = size;
update_zmalloc_stat_free(oldsize);
update_zmalloc_stat_alloc(size);
return (char*)newptr+PREFIX_SIZE;
#endif
} zmalloc_used_memory
zmalloc_used_memory 函数用来获取当前使用的内存总量，其中__sync_add_and_fetch就是宏update_zmalloc_stat_add。关于do while(0)的用法可以参见http://blog.csdn.net/luoweifu/article/details/38563161
size_t zmalloc_used_memory(void) {
size_t um;
if (zmalloc_thread_safe) {
#ifdef HAVE_ATOMIC
um = __sync_add_and_fetch(&used_memory, 0);
#else
pthread_mutex_lock(&used_memory_mutex);
um = used_memory;
pthread_mutex_unlock(&used_memory_mutex);
#endif
}
else {
um = used_memory;
}
return um;
}zmalloc_get_rss
这个函数可以获取当前进程实际所驻留在内存中的空间大小，即不包括被交换（swap）出去的空间。该函数大致的操作就是在当前进程的 /proc//stat 【表示当前进程id】文件中进行检索。该文件的第24个字段是RSS的信息，它的单位是pages（内存页的数目)。如果没从操作系统的层面获取驻留内存大小，那就只能绌劣的返回已经分配出去的内存大小。
/* Get the RSS information in an OS-specific way.
*
* WARNING: the function zmalloc_get_rss() is not designed to be fast
* and may not be called in the busy loops where Redis tries to release
* memory expiring or swapping out objects.
*
* For this kind of "fast RSS reporting" usages use instead the
* function RedisEstimateRSS() that is a much faster (and less precise)
* version of the function. */
#if defined(HAVE_PROC_STAT)
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
size_t zmalloc_get_rss(void) {
int page = sysconf(_SC_PAGESIZE);
size_t rss;
char buf[4096];
char filename[256];
int fd, count;
char *p, *x;
snprintf(filename,256,"/proc/%d/stat",getpid());
if ((fd = open(filename,O_RDONLY)) == -1) return 0;
if (read(fd,buf,4096) <= 0) {
close(fd);
return 0;
}
close(fd);
p = buf;
count = 23; /* RSS is the 24th field in /proc/<pid>/stat */
while(p && count--) {
p = strchr(p,' ');
if (p) p++;
}
if (!p) return 0;
x = strchr(p,' ');
if (!x) return 0;
*x = '\0';
rss = strtoll(p,NULL,10);
rss *= page;
return rss;
}
#elif defined(HAVE_TASKINFO)
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/sysctl.h>
#include <mach/task.h>
#include <mach/mach_init.h>
size_t zmalloc_get_rss(void) {
task_t task = MACH_PORT_NULL;
struct task_basic_info t_info;
mach_msg_type_number_t t_info_count = TASK_BASIC_INFO_COUNT;
if (task_for_pid(current_task(), getpid(), &task) != KERN_SUCCESS)
return 0;
task_info(task, TASK_BASIC_INFO, (task_info_t)&t_info, &t_info_count);
return t_info.resident_size;
}
#else
size_t zmalloc_get_rss(void) {
/* If we can't get the RSS in an OS-specific way for this system just
* return the memory usage we estimated in zmalloc()..
*
* Fragmentation will appear to be always 1 (no fragmentation)
* of course... */
return zmalloc_used_memory();
}
#endif
zmalloc_get_fragmentation_ratio /*这个函数在redis5.0.3里面没有找到*/
这个函数可以来提供内存碎片率的指标，直接用驻留在物理内存中的内存/除以分配的总物理内存，得到一个所谓的碎片率， 实际留在物理内存中的除以总分配的。
下面是获取特定操作系统下的RSS信息：
//如果定义了可以获取进程的状态
#if defined(HAV＿PROC_STAT)
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
size_t zmalloc_get_rss(void)
参考：
扫一扫
866
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
