本项目通过将tcmalloc最核心的框架简化, 模拟实现出一个自己的高并发内存池, 它是基于线程缓存的malloc, 实现了高效的多线程内存管理, 用于替代系统的内存分配相关的函数(malloc、free)。
项目代码:tiefxblau/concurrent_memory_pool: 高并发内存池 (github.com)
现代很多的开发环境都是多核多线程,在申请内存的场景下,必然存在激烈的锁竞争问题。为了提高在高并发环境下内存申请释放的效率,该内存池考虑了以下几方面的问题。 1. 内存碎片问题。 2. 性能问题。 3. 多核多线程环境下,锁竞争问题。
concurrent memory pool主要由以下3个部分构成:
- thread cache:线程缓存是每个线程独有的,用于小于64k的内存的分配,线程从这里申请 内存不需要加锁,每个线程独享一个cache,这也就是这个并发线程池高效的地方。
- central cache:中心缓存是所有线程所共享,thread cache是按需从central cache中获 取的对象。central cache周期性的回收thread cache中的对象,避免一个线程占用了太多的 内存,而其他线程的内存吃紧。达到内存分配在多个线程中更均衡的按需调度的目的。 central cache是存在竞争的,所以从这里取内存对象是需要加锁,不过一般情况下在这里取 内存对象的效率非常高,所以这里竞争不会很激烈。
- page cache:页缓存是在central cache缓存上面的一层缓存,存储的内存是以页为单位存 储及分配的,central cache没有内存对象时,从page cache分配出一定数量的page,并切 割成定长大小的小块内存,分配给central cache。page cache会回收central cache满足条 件的span对象,并且合并相邻的页,组成更大的页,缓解内存碎片的问题。
以下是在VS2022下对该内存的性能测试:
这里测试了不同数量线程分别使用高并发内存池和系统函数(malloc,free)申请释放内存所需的时间,可以看到在多线程下使用该高并发内存池申请释放内存比使用malloc、free快约3-10倍,提高了在高并发环境下的效率。