Redis采用不同内存分配器tcmalloc和jemalloc

原创 2015年11月18日 14:38:44

我们知道Redis并没有自己实现内存池,没有在标准的系统内存分配器上再加上自己的东西。所以系统内存分配器的性能及碎片率会对Redis造成一些性能上的影响。

Redis的 zmalloc.c 源码中,我们可以看到如下代码:

/* Double expansion needed for stringification of macro values. */
#define __xstr(s) __str(s)
#define __str(s) #s
#if defined(USE_TCMALLOC)
#define ZMALLOC_LIB ("tcmalloc-" __xstr(TC_VERSION_MAJOR) "." __xstr(TC_VERSION_MINOR))
#include <google/tcmalloc.h>
#if (TC_VERSION_MAJOR == 1 && TC_VERSION_MINOR >= 6) || (TC_VERSION_MAJOR > 1)
#define HAVE_MALLOC_SIZE 1
#define zmalloc_size(p) tc_malloc_size(p)
#else
#error "Newer version of tcmalloc required"
#endif
#elif defined(USE_JEMALLOC)
#define ZMALLOC_LIB ("jemalloc-" __xstr(JEMALLOC_VERSION_MAJOR) "." __xstr(JEMALLOC_VERSION_MINOR) "." __xstr(JEMALLOC_VERSION_BUGFIX))
#include <jemalloc/jemalloc.h>
#if (JEMALLOC_VERSION_MAJOR == 2 && JEMALLOC_VERSION_MINOR >= 1) || (JEMALLOC_VERSION_MAJOR > 2)
#define HAVE_MALLOC_SIZE 1
#define zmalloc_size(p) je_malloc_usable_size(p)
#else
#error "Newer version of jemalloc required"
#endif
#elif defined(__APPLE__)
#include <malloc/malloc.h>
#define HAVE_MALLOC_SIZE 1
#define zmalloc_size(p) malloc_size(p)
#endif
#ifndef ZMALLOC_LIB
#define ZMALLOC_LIB "libc"
#endif


从上面的代码中我们可以看到,Redis在编译时,会先判断是否使用tcmalloc,如果是,会用tcmalloc对应的函数替换掉标准的libc中的函数实现。其次会判断jemalloc是否使得,最后如果都没有使用才会用标准的libc中的内存管理函数。

而在最新的2.4.4版本中,jemalloc已经作为源码包的一部分包含在源码包中,所以可以直接被使用。而如果你要使用tcmalloc的话,是需要自己安装的。

下面简单说一下如何安装tcmalloc包,tcmallocgoogle-proftools中的一部分,所以我们实际上需要安装google-proftools。如果你是在64位机器上进行安装,需要先安装其依赖的libunwind库。

wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99-alpha.tar.gz tar zxvf libunwind-0.99-alpha.tar.gz cd libunwind-0.99-alpha/ CFLAGS=-fPIC ./configure make CFLAGS=-fPIC make CFLAGS=-fPIC install

然后再进行google-preftools的安装:

wget http://google-perftools.googlecode.com/files/google-perftools-1.8.1.tar.gz tar zxvf google-perftools-1.8.1.tar.gz cd google-perftools-1.8.1/ ./configure --disable-cpu-profiler --disable-heap-profiler --disable-heap-checker --disable-debugalloc --enable-minimal make && make install sudo echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf #如果没有这个文件,自己建一个 sudo /sbin/ldconfig

然后再进行Redis的安装,在make时指定相应的参数以启用tcmalloc

$ curl -O http://redis.googlecode.com/files/redis-2.4.4.tar.gz $ tar xzvf redis-2.4.4.tar.gz $ cd redis-2.4.4 $ make USE_TCMALLOC=yes FORCE_LIBC_MALLOC=yes $ sudo make install

再启动Redis后通过info命令就能看到使用的内存分配器了。

下面回到本文的主题,对于tcmallocjemalloclibc对应的三个内存分配器。其性能和碎片率如何呢?下面是一个简单测试结果,使用Redis自带的redis-benchmark写入等量数据进行测试,数据摘自采用不同分配器时Redis info信息。我们可以看到,采用tcmalloc时碎片率是最低的,为1.01jemalloc1.02,而libc的分配器碎片率为1.31,如下所未:

used_memory:708391440 used_menory_human:675.57M used_memory_rss:715169792 used_memory_peak:708814040 used_memory_peak_human:675.98M mem_fragmentation_ratio:1.01mem_allocator:tcmalloc-1.7

used_memory:708381168 used_menory_human:675.56M used_memory_rss:723587072 used_memory_peak:708803768 used_memory_peak_human:675.97M mem_fragmentation_ratio:1.02mem_allocator:jemalloc-2.2.1

used_memory:869000400 used_menory_human:828.74M used_memory_rss:1136689152 used_memory_peak:868992208 used_memory_peak_human:828.74M mem_fragmentation_ratio:1.31mem_allocator:libc

上面的测试数据都是小数据,也就是说单条数据并不大,下面我们尝试设置benchmark-d参数,将value值调整为1k大小,测试结果发生了一些变化:

used_memory:830573680 used_memory_human:792.10M used_memory_rss:849068032 used_memory_peak:831436048 used_memory_peak_human:792.92M mem_fragmentation_ratio:1.02mem_allocator:tcmalloc-1.7

used_memory:915911024 used_memory_human:873.48M used_memory_rss:927047680 used_memory_peak:916773392 used_memory_peak_human:874.30M mem_fragmentation_ratio:1.01mem_allocator:jemalloc-2.2.1

used_memory:771963304 used_memory_human:736.20M used_memory_rss:800583680 used_memory_peak:772784056 used_memory_peak_human:736.98M mem_fragmentation_ratio:1.04mem_allocator:libc

可以看出,在分配大块内存和小块内存上,几种分配器的碎片率差距还是比较大的,大家在使用Redis的时候,还是尽量用自己真实的数据去做测试,以选择最适合自己数据的分配器。

版权声明:本文为博主原创文章,未经博主允许不得转载。

redis-3.0.7 安装报错 error: jemalloc/jemalloc.h: No such file or directory解决方法

本文为大家讲解的是redis-3.0.7 安装报错 error: jemalloc/jemalloc.h: No such file or directory解决方法,感兴趣的同学参考下。 错误...
  • fygkchina
  • fygkchina
  • 2016年03月29日 16:23
  • 3804

jemalloc在linux上从安装到使用

首先,jemalloc是干什么的? 我们看看作者自己的介绍: >jemalloc is a general purpose malloc(3) implementation that emphasiz...
  • xiaofei_hah0000
  • xiaofei_hah0000
  • 2016年08月15日 23:29
  • 10024

redis编译报致命错误:jemalloc/jemalloc.h:没有那个文件或目录

分配器allocator, 如果有MALLOC  这个 环境变量, 会有用这个环境变量的 去建立Redis。 而且libc 并不是默认的 分配器, 默认的是 jemalloc, 因为 jemal...
  • honchou56
  • honchou56
  • 2017年01月03日 15:15
  • 3318

redis系列-安装

一、概述     Redis3.0版本之后支持Cluster. 1.1、redis cluster的现状    目前redis支持的cluster特性:   1):节点自动发现...
  • baidu_27776187
  • baidu_27776187
  • 2018年01月11日 12:53
  • 23

redis-3.2.7安装

1:下载安装包:wget http://download.redis.io/releases/redis-3.2.7.tar.gz 2:解压 tar xzf redis-3.2.7.tar.gz 3:...
  • jwcjlu
  • jwcjlu
  • 2017年02月04日 13:40
  • 817

centOS6.3 安装redis make报错 zmalloc.h:50:31: 错误:jemalloc/jemalloc.h:没有那个文件或目录

原因分析 在README 有这个一段话。 Allocator   ---------     Selecting a non-default memory allocator when build...
  • maozherong
  • maozherong
  • 2017年01月08日 20:41
  • 3369

redis linux安装 [adlist.o] Error jemalloc/jemalloc.h: No such file or directory

安装: 通过wget方式直接在linux上下载Redis wget http://download.redis.io/releases/redis-2.6.17.tar.gz 解压下载的re...
  • lgh1117
  • lgh1117
  • 2015年09月07日 18:46
  • 8455

jemalloc

项目的线上服务器,在code中大量使用了std::map,map中也是
  • steve1018
  • steve1018
  • 2014年05月23日 19:20
  • 11190

Redis 安装报错 error: jemalloc/jemalloc.h: No such file or directory解决方法

错误描述 安装Redis 2.8.18时报错: zmalloc.h:50:31: error: jemalloc/jemalloc.h: No such file or directo...
  • bugall
  • bugall
  • 2015年05月22日 11:17
  • 17184

Redis采用不同内存分配器碎片率对比

我们知道Redis并没有自己实现内存池,没有在标准的系统内存分配器上再加上自己的东西。所以系统内存分配器的性能及碎片率会对Redis造成一些性能上的影响。 在Redis的 zmalloc.c 源...
  • yongche_shi
  • yongche_shi
  • 2017年01月19日 11:39
  • 709
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Redis采用不同内存分配器tcmalloc和jemalloc
举报原因:
原因补充:

(最多只允许输入30个字)