实现一个内存池

最新推荐文章于 2024-05-14 01:00:04 发布

M_jianjianjiao

最新推荐文章于 2024-05-14 01:00:04 发布

阅读量624

点赞数 1

分类专栏： C++

本文链接：https://blog.csdn.net/M_jianjianjiao/article/details/88071878

版权

25 篇文章 0 订阅

订阅专栏

实现在多核多线程的环境下，效率较高的处理高并发的内存池。

在内存池实现的时候，采用了三层的结构，通过三层的不同的结构来保证达到减少内存碎片，将低锁竞争的激烈程度。
在这里插入图片描述

在这里插入图片描述

第一层为线程缓存，线程直接从这里拿去内存。每个线程都有自己的thread cache, 所以不用加锁，这就保证了并发内存池的高效性。
使用哈希映射一个存储不同大小数据块的内存块池，通过根据不同大小的对象，构建不同大小的内存的分配器，进行内存的高效分配。
在内存分配的过程中会产生内存碎片，而内存碎片分为两种
- 内碎片：是指因为在内存中会因为内存对齐的原因，在内存分配过程中，为了要对齐到响应的对齐位置，会在造成一定空间的浪费
- 外碎片：是指在内存分配过程中会，当需要一块内存时，该内存，可能是从一个大块的内存上切割下来的，不断的切割，就会使大内存块变成小的内存块，等到需要大块内存时就会发现找不到。
根据定长的结构对齐进行该进，将哈希映射的池分为4部分，他们的对齐数分别是8 、16 、128 、512，将这几部分的内碎片的产生进行一定的控制，从而达到减少内碎片的目的，而外碎片通过后面的合并进行解决。

线程缓存从中心缓存获取对象，每个线程缓存按需从中心缓存获取数据。中心缓存只有一个，是所有线程所共享的
中心缓存会周期性的从线程缓存中回收对象，避免因为一个线程占有太多的内存，从而导致其他的线程的内存紧张。因此中心缓存达到了均衡内存的目的，尽可能的保证内存的分配公平合理
中心缓存存在线程安全问题，所以需要加锁进行保护，但是此处的取内存对象效率十分的高，所以不会存在很激烈的锁竞争的问题

在这里插入图片描述

在这里插入图片描述

关于CentralCache 与 PageCache 我们使用单例模式中，在运行过程中只创建一个对象
对于线程缓存的申请采用慢增长的模式，尽量减少内存无谓的闲置浪费
采用跨度span来表示一个连续内存块的集合,通过使用一个引用计数，完成对于闲置空间合并。
申请释放内存，均是改变数据块的指向，操作效率较高，对一块空间可以重复的，使用unique_lock对哈希映射标下的每一个桶进行加锁，不影响其他的线程操作其他的链表，从而减轻锁的竞
采用tls, 使得每个线程都有一个自己的全局变量，从而使每个线程都有自己的缓存池

TLS是各线程的独立的数据存储空间，使用TLS技术可在线程内部独立使用或者修改进程的全局数据或是静态数据，就像对待自身的局部变量一样。

项目中使用了windows 下的msvc的__declspec(thread)修饰符，
在linux下还可以使用gcc __thread修饰符进行声明。
这两者使用简单我们只需要在全局或静态变量前加上修饰符，然后在各自的线程中调用即可

整个结构中均需要加锁，使用mutex 锁来保证线程的安全。在整个环节中对于两部分进行加锁，一部分是二层的中心缓存，对于每一给span 链表都要进行加锁。第三部分是对于页缓存进行加锁，对于缓存整个加锁对其进行保护，因为一般的操作都集中在第一层很少能够到达第二层或者第三层，所以因锁造成的效率一般很小。
对于空闲块的合并，在控制内存碎片的最重要的一步就是，进行合并。在内存块从系统中申请出来，以及从第二层分给每个线程的内存池时，都进行了页与span之间对应关系，通过使用map进行存储。当有第二层有整块的空闲时，就将其送到第三层进行合并。在第三层通过查找前一块与后一块的内存，进行前后合并。并将合并出的内存挂到第三层。

此时申请的空间在三层缓存空间锁能分配的大小的范围之内，所以就从每个线程的各自的内存池中获取内存。
首先根据所申请的空间的大小进行内存对齐找到其对其数，再根据其对其数确定该块空间在内存池中的下标，从中获取内存。
如果在threadCache中没有内存，则从第二块内存中获取内存，从中取出相应的块数，返回所需的内存数，将剩余的内存挂到第一层的空闲链表池下。
当第二层也没有相应的内存数就从第三层去获取，在内存获取时，通过遍历整个哈希映射表，找到内存块，如果找到的内存块大于要申请的内存块就及进行分割，返回要申请的内存的大小，将剩余的内存继续挂到第三层。
当第三层也没有足够的内存时，就直接从系统内存中进行申请。

关注

专栏目录