本文属于专栏《构建工业级QPS百万级服务》系列简介-CSDN博客
1、前置知识
c++的内存管理,主要说的是堆内存管理。现代计算机系统中,用户进程的堆内存,由内核映射。
- 堆内存的来源
- 主要是通过mmap()函数,在进程的虚拟地址空间中创建新的映射
- 为什么需要malloc
- 因为mmap()是按照page size(一般是4096字节)分配的,如果是程序员直接使用很容易照成浪费,高效地使用内存,是共同需求,所以有了malloc
- 为什么需要tcmalloc和jemalloc
- malloc在内存碎片和多线程性能方面做得不好
- 三方的内存管理库运行原理,就是alias malloc和free函数以及operator new(注意不是new operator)
#define ALIAS(tc_fn) __attribute__ ((alias (#tc_fn), used))
extern "C" {
void* malloc(size_t size) __THROW ALIAS(tc_malloc);
void free(void* ptr) __THROW ALIAS(tc_free);
} // extern
- 两个常用的内存分配算法
- Buddy allocation:连续的内存,分配时不断折半,直到刚好满足需要的内存
- Slab allocation:将内存管理起来,分成很多个大小相同的小片,用一个管理类去记录内存的分配和释放
2、TCMalloc(Thread Cache Malloc)
- 实现原理:
- 首先,glibc中,内存分配相关的函数都是弱符号,TCMalloc定义了自己的函数并将其覆盖
- 主要思想是每个线程有自己的缓存,在自己线程缓存不够用时,找Central Heap
- 内存分配时,不同大小有不同的策
- 小内存:
- 每个线程缓存有一个单链表,每个节点后面跟着的也是一个链表,如下图,calss0 位8bytes,class1为16bytes,class2为32bytes。当thread cache不够,就找central heap,当central heap不够,就找内核分配。如果Thread Cache的链太短,会频繁找去central分配(自旋锁),如果太长会浪费一些空间
- tcmalloc_max_total_thread_cache_bytes参数表示的是在当前thread cache中,最多的缓存的不释放回central cache的内存。设置太低会导致在高qps的服务中,有频繁释放和申请小内存时,会和central cache交互频繁,导致加锁太多
- 为了设置合适的free list(class 0 后面跟着的链表)长度,使用了慢启动算法来决定每个独立的free list的链表长度,频繁的申请会增加长度,频繁的释放会抑制长度
- 中内存CentralCache(256kb <= size <= 1MB)
- 这里的个page为8kb
- 大内存PageHeap,从pageHeap中找,如果没有就向OS申请
- 调优化经验
- 对于应用使用堆内存量大的,如几个G甚至上百G的。虽然版本不同,但是一般给每个线程默认管理的内存大小不超过100M。所以在高配置应用中,使用TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES来增加单个线程可管理的内存是有显著性能提升的。如:export TCMALLOC_MAX_TOTAL_THREAD_CACHE_BYTES=1073741824
- 小内存:
3、JeMalloc
- 与tcmalloc类似,只是中内存不是从central heap中取,还是从线程的缓存中取,jemalloc的线程缓存管理范围更广,更复杂,但是效率更高
- 原理
- 几个名词
- page ,操作系统提供的内存,来自于mmap
- chunk,jemalloc申请内存的大小单位,是page size的n倍,默认2Mb
- base,jemalloc自身使用的堆内存结构
- arena,jemalloc最重要的部分,内存管理器(每个线程一个),分配算法是Buddy和Slab的组合
- chunk 使用buddy算法划分不同的run,run使用不同的算法划分固定大小的region,大部分内存分配直接查找对应的run,从中分配空闲的region
- bin:bin管理相同类型的run,记录了run相关信息。用红黑树管理有空闲的region的run,并按照地址排序
- 分配流程
- small内存去bin管理的内存中找,bin找不到再去arena管理的内存找
- large的直接去arena中找
- huge也是去arena找,只是这里用的是线程共享的arena,但是这里频率很低,影响小
- 几个名词
所以一般来说,频繁创建和删除线程的使用tcmalloc,用固定线程的使用jemalloc效率更高。