【内存】内存分配和内存池 性能优化

C++几种内存分配方法的效率测试与比较

这几天做的一个项目要频繁new许多对象，对于频繁调用new对效率的影响只停留在理论上，没有一个直观的认识，故做了一个小测试。本次测试只对比了三种内存分配方式：

1. 频繁调用new

2. 一次性new足够的内存，再用placement new产生对象到已分配的内存

3. 用vector

测试代码如下

（注意事项：vs下x86和x64、debug、release配置下运行效果不一样，gcc编译时，一些二外的debug编译参数也会影响速度）

下面代码中：

delete new CTest(); 等于  delete （new CTest());

new(pTest + i * len) CTest; placement new 知识点

https://www.cnblogs.com/xzlq/p/9504851.html，https://blog.csdn.net/linuxheik/article/details/80449059，所谓placement new就是在用户指定的内存位置上构建新的对象，这个构建过程不需要额外分配内存，只需要调用对象的构造函数即可。

即之前申请内存，返回内存指针，然后new(ptr) CTest 在指针指向的内存位置构造函数。

#include <iostream>
#include <time.h>
#include <vector>
using namespace std;
 
#define MAX_CYCLE 30000000
 
class CTest
{
private:
	//int ID;
	//int ID2;
	//double ID3;
	char a[3];
};
 
inline void use_new()
{
	for(int i = 0; i < MAX_CYCLE; i++)
		delete new CTest();
}
 
inline void use_pool()
{
	CTest* pTest = new CTest[MAX_CYCLE];
	int len = sizeof(CTest);
	memset(pTest, 0, MAX_CYCLE * len);
	for(int i = 0; i < MAX_CYCLE; i++)
		new(pTest + i * len) CTest;
	delete [] pTest;
}
 
inline void use_vector()
{
	vector<CTest> testVec(MAX_CYCLE);
}
 
int main()
{
	time_t timer1, timer2;
 
	time(&timer1);
	//use_new();
	time(&timer2);
	cout<< difftime(timer2, timer1)<<endl;
 
	time(&timer1);
	//use_pool();
	time(&timer2);
	cout<< difftime(timer2, timer1)<<endl;
 
	time(&timer1);
	use_vector();
	time(&timer2);
	cout<< difftime(timer2, timer1)<<endl;
 
	system("pause");
	return 0;
}

测试结果：

分配方式	耗时
频繁调用new	117s
一次new足够内存	3s
用vector	9s

结论：

1. 用一次new足够内存的方式其实也就相当于使用内存池，三种方式耗时排序为：内存池 < vector < 频繁new。

2. 要实例化的类的大小对效率的影响并不大。CTest类的声明中，是否注释掉前3个成员变量并不影响对时间的消耗。

 

 

使用Tcmalloc的性能测试结果报告，比malloc有大幅度提高

Tcmalloc的使用很简单，只需gcc添加参数-ltcmalloc_minimal即可。

 

注意事项：

tcmalloc会缓存了这部分内存，仔细研读了tcmlloc文档和部分源码，发现：
tcmalloc将逐渐的释放内存，释放的速度取决于tcmalloc_release_rate，合理情况下一般情况是0-10，另外可以手动的在你的application中调用MallocExtension::instance()->ReleaseFreeMemory()强制释放。

最后在代码中加入了ReleaseFreeMemory，问题解决

 

tcmalloc原理

 

概要

 

如下图所示，tcmalloc的内存分配分为四层：（每次第一层申请，该层没有空闲时会到下一层去申请）

ThreadCache（用于小对象分配）：

线程本地缓存，每个线程独立维护一个该对象，多线程在并发申请内存时不会产生锁竞争。

CentralCache（Central free list，用于小对象分配）：

全局cache，所有线程共享。当thread cache空闲链表为空时，会批量从CentralCache中申请内存；当thread cache总内存超过阈值，会进行内存垃圾回收，将空闲内存返还给CentralCache。

Page Heap（小/大对象）：

全局页堆，所有线程共享。对于小对象，当centralcache为空时，会从page heap中申请一个span；当一个span完全空闲时，会将该span返还给page heap。对于大对象，直接从page heap中分配，用完直接返还给page heap。

系统内存：

当page cache内存用光后，会通过sbrk、mmap等系统调用向OS申请内存。

 

11、结合应用考虑

1）ThreadCache是面向pthread的，对于baidu-rpc，如果是隶属于一个pthread的多个bthread，其将复用同一个ThreadCahce。

2）非对称malloc/free：在应用代码中会出现如下场景，一个小对象是在A线程中分配，但是在B线程中释放。这会导致A线程会很快用光ThreadCache中分配的内存，需要重新从CentralCache中申请内存；而B线程则会很快达到2M阈值，从而向CentralCache返还内存。这种场景下tcmalloc的性能会表现不佳，因为访问CentralCache会出现多线程竞争，是一个加锁操作（100ns级别），因此在实际编码中尽量避免这类用法。

 

 

详细

1、动机

tcmalloc要比glibc2.3 malloc（基于ptmalloc2实现）要快，ptmalloc2调用一次malloc+free大概需要300ns（2.8GHz P4），而tcmalloc执行同样的操作仅需50ns。

tcmalloc降低了在多线程程序中的锁竞争情况。对于小对象，tcmalloc基本达到了零竞争（笔者注：从CentralHeap申请一次内存，足以支撑单线程长期使用，而不需要再次向CentralHeap申请内存）。对于大对象，tcmalloc尝试使用细粒度且高效的自旋锁（笔者注：没看懂，需要细看代码）

tcmalloc的另一个好处在于小对象的空间效率高。例如，分配N个8字节对象可能要使用大约8N*1.01字节的空间，即多用1%的内存空间。而ptmalloc2会为每个对象一个4字节的header，那么假如要求8字节对齐，那么最终N个8字节对象需要占用16N字节的空间。

2、使用方法

要使用tcmalloc，只要将tcmalloc通过-ltcmalloc连接到应用程序即可。

也可以使用LD_PRELOAD在不是你自己编译的应用程序中使用：

$ LD_PRELOAD="/usr/lib/libtcmalloc.so"

tcmalloc还包含一个堆检查器（heap checker）和堆测量器（heap profiler）。

如果你想链接不包含heap checker和heap profiler的tcmalloc（比如为了减少静态二进制文件的大小），你应该连接libtcmalloc_minimal

3、综述

tcmalloc为每个线程分配一个thread-local cache，小对象的分配直接从thread-local cache中分配。根据需要将对象从CentralHeap中移动到thread-local cache，同时定期的用垃圾回收器把内存从thread-local cache回收到Central free list中。

 

 

tcmalloc将<=32k的对象归类为小对象，小对象是从thread-local cache中分配的。>32k的称为大对象，大对象是直接使用页级分配器（page-level allocator）从Central page Heap中进行分配，即一个大对象总是按页对齐的。（笔者注：大对象的分配又是如何降低多线程竞争的情况的？）

4、小对象分配

每个小对象的大小都会被映射到与之接近的170个可分配的尺寸类别中（allocatable size-classes）。比如所有大小在961~1024字节之间的小对象都会被归整为1024字节。尺寸类别隔开规则：较小的尺寸相差8字节，较大的尺寸相差16字节，更大的尺寸相差32字节，以此类推，最大的尺寸间隔为256字节。

一个thread-local cache包含各size-class的对象组成的单链表，如图所示：

 

 

当分配小对象时：

1. 将其映射到对应的size-class；
2. 在当前线程的thread-local cache中查找对应size-class的free-list，如果free list非空，那么将链表上第一个对象移除并返回给应用，这样tcmalloc的内存分配不会产生任何锁竞争。这样极大的提高了内存分配速度，因为lock/unlock操作在一个2.8GHz Xeon上大约需要100ns；
3. 如果free list为空，那么将从Central free list中批量获取一批对应size-class的对象，并将其添加到thread-local cache的对应链表上，后续同2。（笔者注：此处对CentralHeap的访问需要加锁）
4. 如果Central free list也为空，那么将从中央页分配器（central page allocatpr）分配一系列页面（对应span），将其分割成一系列对应size-class的对象，并将新分配的对象添加到CentralHeap的链表上，后续同3。（笔者注：此处对central page allocatpr的访问也需要加锁）

5、大对象分配

大对象（>32k）由中央页堆（central page heap）分配，中央页堆是由空闲内存页表组成的数组，如下图所示。

 

分配k个页面：首先在地k个空闲内存链表上查找，如果该链表为空，那么就在下一个空闲内存链表中查找，以此类推，最终将在最后空闲内存链表中查找。如果该操作也失败，那么则向系统申请内存（笔者注：使用sbrk、mmap等向OS申请内存）。

6、Spans

tcmalloc管理的heap由一系列page组成，一系列连续的页面由一个span对象来表示。一个span可以是已被分配或者是空闲的。如果是空闲的，span会是一个页面堆链表中的一个条目。如果已被分配，它会或者是一个已经被传递给应用程序的大对象，或者是一个已经被分割成一系列小对象的一个页面。注意，如果被分割成小对象，对象的尺寸会被记录在span中。

tcmalloc利用radix tree来实现一个central array，其通过页面号索引来找到该页面所属的span对象（page->span映射），如下图苏所示：

 

14093515_vqCg.jpg.png

7、释放

对一个对象释放时，先计算其页面号（笔者注：address >> 2获取页面号），并在central array中查找对应的span。span中记录了该对象是大是小，如果是小对象的话尺寸类型是多少。

如果是小对象，将其插入到当前线程cache对应的空闲内存链表中。如果线程cache超过了某个预定的大小（默认2M），那么便运行垃圾回收器将未使用的对象从线程缓存中移入Central free list中。

如果是大对象，span会告诉我们该对象包含的页面范围。假设该范围是[p,q]。tcmalloc还会查找页面p-1和页面q+1对应的span（笔者注：通过central array查询）。如果这两个span有任何一个是空闲的，将他们与[p,q]的span结合起来。最后将合并后的span插入到page heap中。

8、小对象的central free list

如上所述，我们为每个尺寸类型设置了一个central free list。Central free list由两层数据结构实现：一系列span和每个span对象上分割出来的一个空闲内存链表。

一个object是通过从某个span对象的空闲链表中取出一个条目来分配的，如果所有的跨度里只有空链表，那么首先从central page heap中分配一个尺寸合适的span。

一个object通过将其添加到对应span的空闲链表上来将内存返还给central free list。如果链表长度等于span对象中所有小对象的数量，那么该span就可以被返还给page heap。

9、thread cache的垃圾回收

thread cache会在所有object总大小超过2M时进行垃圾回收。当线程增多时，垃圾回收器或动态下调阈值（2M->others），从而保证不会浪费内存。

10、总结

如下图所示，tcmalloc的内存分配分为四层：

ThreadCache（用于小对象分配）：线程本地缓存，每个线程独立维护一个该对象，多线程在并发申请内存时不会产生锁竞争。

CentralCache（Central free list，用于小对象分配）：全局cache，所有线程共享。当thread cache空闲链表为空时，会批量从CentralCache中申请内存；当thread cache总内存超过阈值，会进行内存垃圾回收，将空闲内存返还给CentralCache。

Page Heap（小/大对象）：全局页堆，所有线程共享。对于小对象，当centralcache为空时，会从page heap中申请一个span；当一个span完全空闲时，会将该span返还给page heap。对于大对象，直接从page heap中分配，用完直接返还给page heap。

系统内存：当page cache内存用光后，会通过sbrk、mmap等系统调用向OS申请内存。

v2-48e65592edd228c1fc28f7509dba2ab7_1200x500.jpg

11、结合应用考虑

1）ThreadCache是面向pthread的，对于baidu-rpc，如果是隶属于一个pthread的多个bthread，其将复用同一个ThreadCahce。

2）非对称malloc/free：在应用代码中会出现如下场景，一个小对象是在A线程中分配，但是在B线程中释放。这会导致A线程会很快用光ThreadCache中分配的内存，需要重新从CentralCache中申请内存；而B线程则会很快达到2M阈值，从而向CentralCache返还内存。这种场景下tcmalloc的性能会表现不佳，因为访问CentralCache会出现多线程竞争，是一个加锁操作（100ns级别），因此在实际编码中尽量避免这类用法。

参考文献：

http://goog-perftools.sourceforge.net/doc/tcmalloc.html

https://zhuanlan.zhihu.com/p/29216091

https://my.oschina.net/victorlovecode/blog/344414

作者：异客z
链接：https://www.jianshu.com/p/7c55fbdef679
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。