Purposes:
1.了解什么是内存
2.内存优化有哪些方式
3.怎样做内存优化
Premise:
我们常常在开发场景下提及的内存是指程序内存.
程序内存可以分为以下五种:
1、 栈区(stack):栈的空间是连续的, 先进后出能保证不会产生内存碎片, 由高地址向低地址生长, 编译器自动分配和释放, 用来存放函数的参数值,局部变量的值等。操作方式类似于数据结构中的栈。栈用于维护函数调用的上下文,离开了栈函数调用就没法实现。
2、 堆区(heap):堆则不同, 堆内存不一定是连续的. 分配方式是每次在空闲链表中遍历到第一个大于申请空间的节点,每次分配的空间大小一般不会正好等于申请的内存大小,所以频繁的new操作势必会产生大量的空间碎片 。 堆内存一般由程序员使用malloc、new亦或是STL中的allocator分配 , 若程序员不释放,程序结束时可能由操作系统回收。
3、 全局区(static):全局变量和静态变量存放在此。
4、 常量区:常量字符串放在此,程序结束后由系统释放。
5、 代码区:存放函数体的二进制代码。
内存管理可以分为三个层次,自底向上分为:
- 操作系统内核的内存管理
- glibc(1)层使用系统调用维护的内存管理算法
- 应用程序从glibc动态分配内存后,根据应用程序本身的程序特性进行优化, 比如使用引用计数std::shared_ptr,apache的内存池方式等等
Jemalloc
本文重点是介绍Facebook使用的jemalloc, 以及如何使用jemalloc,至于原理可以参考附录2.
ptmalloc2即是我们当前使用的glibc(1) malloc版本
ptmalloc的缺陷:
- 后分配的内存先释放,可能释放不了
- 多线程锁开销大
- 线程申请的内存结束后没有完成释放的话,其他线程使用不了,造成浪费
- chunk(块)至少8字节
- 长生命周期的内存容易造成内存碎片,不利于回收
jemalloc的改进:
- jemalloc为每个线程分配了一个本地ThreadCache,小对象(<=32K)从ThreadCache分配,无锁
- 采用RB-Tree在对数时间内查找可用空间
- 提升了缓存命中率 提升了缓存命中率
对于性能 , 引用一张附录2的图:
安装使用Jemalloc
1.安装:
git clone https://github.com/jemalloc/jemalloc/releases/download/5.1.0/jemalloc-5.1.0.tar.bz2
tar -jxvf jemalloc-5.1.0.tar.bz2
cd jemalloc-5.1.0/
./configure
make
make install
2.使用动态链接:
在链接参数里加上 -ljemalloc
例如: g++ -p test test.cpp -ljemalloc
生成好了可执行文件之后:
ldd test
出现下图第二行,就算成功:
3、使用静态链接 如果要使用静态链接,在编译jemalloc时,需要重新设置
./configure --with-jemalloc-prefix make
将jemalloc.h和libjemalloc.a 拷到合适的地方。
此时的jemalloc.h 的宏定义会与之前编译的jemalloc.h有少许的不同。
因为此时 libjemlloc.a 文件中的 malloc free realloc 变成了 yesmalloc, yesfree, yesrealloc。这是为了不能与glic中的malloc,free,realloc 重名,否则无法编译通过。
在自己写的程序中,需要将 malloc free realloc 替换成 je_malloc, je_free, je_realloc. (jemalloc.h 会将 je_malloc, je_free, je_realloc. 替换成 yesmalloc, yesfree, yesrealloc)
在编译时,加入-DJEMALLOC_NO_DEMANGLE -static
Summary:
单线程下ptmalloc与jemalloc相差不大
在多线程环境使用jemalloc效果非常明显。
当线程数量固定,不会频繁创建退出的时候, 可以使用jemalloc;反之使用tcmalloc(5)可能是更好的选择。
Appendix:
1.glibc是GNU发布的libc库,即c运行库。glibc是linux系统中最底层的api
2.引用:http://www.cnhalo.net/2016/06/13/memory-optimize/
3.引用:https://blog.csdn.net/yefeng38083120/article/details/46367527
4.github:https://github.com/jemalloc/jemalloc
5.Google已使用tcmalloc来优化chrome、safari等著名Applications.