【lesson4】高并发内存池ThreadCache层申请内存的实现

已于 2024-02-03 19:03:20 修改
阅读量863 收藏 20
点赞数 19
分类专栏： 项目高并发内存池 文章标签： C++ 内存池 tcmalloc 缓存
于 2024-01-31 20:27:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67077469/article/details/135960254
版权

文章目录

ThreadCache层的结构

thread cache是哈希桶结构，每个桶是一个按桶位置映射大小的内存块对象的自由链表。每个线程都会有一个thread cache对象，这样每个线程在这里获取对象和释放对象时是无锁的。

在这里插入图片描述

申请内存逻辑

  1. 当内存申请size<=256KB，先获取到线程本地存储的thread cache对象，计算size映射的哈希桶自由链表下标i。
  2. 如果自由链表_freeLists[i]中有对象，则直接Pop一个内存对象返回。
  3. 如果_freeLists[i]中没有对象时，则批量从central cache中获取一定数量的对象，插入到自由链表并返回一个对象。

释放内存逻辑

释放逻辑之后再完整实现，现在先了解释放流程

  1. 当释放内存小于256k时将内存释放回thread cache，计算size映射自由链表桶位置i，将对象Push到_freeLists[i]。
  2. 当链表的长度过长，则回收一部分内存对象到central cache。

今天只实现一部分，其余部分等申请流程走通后再实现

自由链表的实现

从上面我们可以知道，ThreadCache存放内存块需要自由链表，所以我们要先实现自由链表。

自由链表的成员变量

在这里插入图片描述
之前学过定长内存池就知道用一个_freeList指针就能管理好多个内存块。

自由链表的成员函数

在这里插入图片描述
Push：可以让内存块链入自由链表中
Pop：可以将内存块从自由链表中移除（也就是该内存块被申请出去了）
Empty：可以判断该自由链表是否为空。

Push的过程
在这里插入图片描述
Push的实现

void Push(void* obj)
	{
		assert(obj);//断言保证obj不为空

		// 头插
		*(void**)obj = _freeList;
		_freeList = obj;
	}

因为*(void**)obj在后面很多地方都会用到，所以我们对其封装成函数

static void*& NextObj(void* obj)
{
	return *(void**)obj;
}
//这里用static的原因是因为，NextObj是
//被放进行Common.h文件的，而Common.h文件
//肯被对个.cpp文件包含，那么到时编译器就会
//报错
//而static修饰函数表示只在Common.h文件内有效

所以我们Push就可改成

void Push(void* obj)
	{
		assert(obj);//断言保证obj不为空

		// 头插
		//*(void**)obj = _freeList;
		NextObj(obj) = _freeList;
		_freeList = obj;
	}

如果大家不理解*(void**)obj，可以去之前的博客观看，这里不再做讲解。

Pop的过程：
在这里插入图片描述
Pop的实现：

void* Pop()
	{
		assert(_freeList);//_freeList一定不能为空

		// 头删
		void* obj = _freeList;
		_freeList = NextObj(obj);

		return obj;
	}

Empty的实现

bool Empty()
	{
		return _freeList == nullptr;
	}

自由链表的完整实现

// 管理切分好的小对象的自由链表
class FreeList
{
public:
	void Push(void* obj)
	{
		assert(obj);

		// 头插
		//*(void**)obj = _freeList;
		NextObj(obj) = _freeList;
		_freeList = obj;
	}

	void* Pop()
	{
		assert(_freeList);

		// 头删
		void* obj = _freeList;
		_freeList = NextObj(obj);

		return obj;
	}

	bool Empty()
	{
		return _freeList == nullptr;
	}
private:
	void* _freeList = nullptr;
};

ThreadCache申请内存过程的实现

首先做项目，我们肯定要定义一个包含头文件的.h文件一般命名为Common.h文件
Common.h

//Common.h
#pragma once
#include <iostream>
#include <assert.h>
using std::cout;
using std::endl;

// thread cache 和 central cache自由链表哈希桶的表大小
static const size_t NFREELISTS = 208;

static void*& NextObj(void* obj)
{
	return *(void**)obj;
}

// 管理切分好的小对象的自由链表
class FreeList
{
public:
	void Push(void* obj)
	{
		assert(obj);

		// 头插
		//*(void**)obj = _freeList;
		NextObj(obj) = _freeList;
		_freeList = obj;
	}

	void* Pop()
	{
		assert(_freeList);

		// 头删
		void* obj = _freeList;
		_freeList = NextObj(obj);

		return obj;
	}

	bool Empty()
	{
		return _freeList == nullptr;
	}
private:
	void* _freeList = nullptr;
};

这里我们先定义这几个，等其它有用到再慢慢添加。
然后实现ThreadCache也要定义两个文件。
一个是ThreadCache.h，ThreadCache.cpp
ThreadCache定义两个文件是为了声明和定义分离，这样更符合实际的项目场景。

ThreadCache.h

//ThreadCache.h
#include "Common.h"

ThreadCache.cpp

//ThreadCache.cpp
#include "ThreadCache.h"

ThreadCache需要的成员变量

在这里插入图片描述
从ThreadCache的结构中我们就可以知道，我们肯定要定义一个指针数组，而每个指针都用来管理内存块，所以这些指针都是自由链表指针

class ThreadCache
{
public:
	
private:
	FreeList _freeLists[NFREELIST];
};

NFREELIST是thread cache自由链表哈希桶的表大小，为208个，所以我们还要Common.h中定义。

ThreadCache需要的成员函数

class ThreadCache
{
public:
	// 申请和释放内存对象
	void* Allocate(size_t size);
	void Deallocate(void* ptr, size_t size);

	// 从中心缓存获取对象
	void* FetchFromCentralCache(size_t index, size_t size);
private:
	FreeList _freeLists[NFREELIST];
};

Allocate：申请内存对象
Deallocate：释放内存对象
FetchFromCentralCache：哈希桶如果内存空间不够，向中心缓存（central cache）申请内存空间

ThreadCache.h文件代码

#pragma once

#include "Common.h"

class ThreadCache
{
public:
	// 申请和释放内存对象
	void* Allocate(size_t size);
	void Deallocate(void* ptr, size_t size);

	// 从中心缓存获取对象
	void* FetchFromCentralCache(size_t index, size_t size);
private:
	FreeList _freeLists[NFREELIST];
};

那么接下来就是实现这些成员函数了。

Allocate的实现

首先我们要知道申请的空间的字节数大小是多少。
其次我们要对该大小进行对齐，我们用自己设定的对齐规则对原字节数大小对齐
最后我们要根据字节数大小找到对应的哈希桶。

那么这是我们就要设计一个类帮助我们解决这些问题。

//放在common.h中
// 计算对象大小的对齐映射规则
class SizeClass
{
public:
	//计算对象大小的对齐映射规则
	// 整体控制在最多10%左右的内碎片浪费
	// [1,128]					8byte对齐	    freelist[0,16)
	// [128+1,1024]				16byte对齐	    freelist[16,72)
	// [1024+1,8*1024]			128byte对齐	    freelist[72,128)
	// [8*1024+1,64*1024]		1024byte对齐     freelist[128,184)
	// [64*1024+1,256*1024]		8*1024byte对齐   freelist[184,208)

	//方法一：
	/*size_t _RoundUp(size_t size, size_t alignNum)
	{
		size_t alignSize;
		if (size % alignNum != 0)
		{
			alignSize = (size / alignNum + 1)*alignNum;
		}
		else
		{
			alignSize = size;
		}

		return alignSize;
	}*/
	// 1-8 
	//方法二：
	static inline size_t _RoundUp(size_t bytes, size_t alignNum)
	{
		return ((bytes + alignNum - 1) & ~(alignNum - 1));
	}
	
	//字节对齐
	static inline size_t RoundUp(size_t size)
	{
		if (size <= 128)
		{
			return _RoundUp(size, 8);
		}
		else if (size <= 1024)
		{
			return _RoundUp(size, 16);
		}
		else if (size <= 8*1024)
		{
			return _RoundUp(size, 128);
		}
		else if (size <= 64*1024)
		{
			return _RoundUp(size, 1024);
		}
		else if (size <= 256 * 1024)
		{
			return _RoundUp(size, 8*1024);
		}
		else
		{
			assert(false);
			return -1;
		}
	}

	//方法一：
	/*size_t _Index(size_t bytes, size_t alignNum)
	{
	if (bytes % alignNum == 0)
	{
	return bytes / alignNum - 1;
	}
	else
	{
	return bytes / alignNum;
	}
	}*/

	//方法二：
	static inline size_t _Index(size_t bytes, size_t align_shift)
	{
		return ((bytes + (1 << align_shift) - 1) >> align_shift) - 1;
	}

	// 计算映射的哪一个自由链表桶
	static inline size_t Index(size_t bytes)
	{
		assert(bytes <= MAX_BYTES);

		// 每个区间有多少个链
		static int group_array[4] = { 16, 56, 56, 56 };
		if (bytes <= 128){
			return _Index(bytes, 3);
		}
		else if (bytes <= 1024){
			return _Index(bytes - 128, 4) + group_array[0];
		}
		else if (bytes <= 8 * 1024){
			return _Index(bytes - 1024, 7) + group_array[1] + group_array[0];
		}
		else if (bytes <= 64 * 1024){
			return _Index(bytes - 8 * 1024, 10) + group_array[2] + group_array[1] + group_array[0];
		}
		else if (bytes <= 256 * 1024){
			return _Index(bytes - 64 * 1024, 13) + group_array[3] + group_array[2] + group_array[1] + group_array[0];
		}
		else{
			assert(false);
		}

		return -1;
	}


};

Allocate的实现

void* ThreadCache::Allocate(size_t size)
{
	//size是要申请空间的字节大小
	//MAX_BYTES为最大申请的空间字节数 256*1024字节
	assert(size <= MAX_BYTES);
	//首先计算出对齐字节数和对应桶的下标
	size_t alignSize = SizeClass::RoundUp(size);
	size_t index = SizeClass::Index(size);
	
	//如果对应桶不为空，则拿对应的字节空间
	if (!_freeLists[index].Empty())
	{
		return _freeLists[index].Pop();
	}
	else//如果对应桶为空，则向中心缓存申请空间
	{
		return FetchFromCentralCache(index, alignSize);
	}
}

Deallocate的实现

void ThreadCache::Deallocate(void* ptr, size_t size)
{
	assert(ptr);
	assert(size <= MAX_BYTES);

	// 找对映射的自由链表桶，对象插入进入
	size_t index = SizeClass::Index(size);
	_freeLists[index].Push(ptr);

封装ThreadCache层可以多线程访问

只要在ThreadCache.h文件添加下列代码，就可以支持多线程访问。

// TLS thread local storage
static _declspec(thread) ThreadCache* pTLSThreadCache = nullptr;

然后用ConcurrentAlloc.h封装ThreadCache层，不让外面直接可以访问到ThreadCache的函数。保证安全性

pragma once

#include "Common.h"
#include "ThreadCache.h"

static void* ConcurrentAlloc(size_t size)
{
	// 通过TLS 每个线程无锁的获取自己的专属的ThreadCache对象
	if (pTLSThreadCache == nullptr)
	{
		pTLSThreadCache = new ThreadCache;
	}

	return pTLSThreadCache->Allocate(size);
}

static void ConcurrentFree(void* ptr, size_t size)
{
	assert(pTLSThreadCache);

	pTLSThreadCache->Deallocate(ptr, size);
}

ThreadCache层完整代码

Common.h

#pragma once

#include <iostream>
#include <vector>
#include <thread>
#include <time.h>
#include <assert.h>
using std::cout;
using std::endl;

static const size_t MAX_BYTES = 256 * 1024;
static const size_t NFREELIST = 208;

static void*& NextObj(void* obj)
{
	return *(void**)obj;
}

// 管理切分好的小对象的自由链表
class FreeList
{
public:
	void Push(void* obj)
	{
		assert(obj);

		// 头插
		//*(void**)obj = _freeList;
		NextObj(obj) = _freeList;
		_freeList = obj;
	}

	void* Pop()
	{
		assert(_freeList);

		// 头删
		void* obj = _freeList;
		_freeList = NextObj(obj);

		return obj;
	}

	bool Empty()
	{
		return _freeList == nullptr;
	}
private:
	void* _freeList = nullptr;
};

// 计算对象大小的对齐映射规则
class SizeClass
{
public:
	// 整体控制在最多10%左右的内碎片浪费
	// [1,128]					8byte对齐	    freelist[0,16)
	// [128+1,1024]				16byte对齐	    freelist[16,72)
	// [1024+1,8*1024]			128byte对齐	    freelist[72,128)
	// [8*1024+1,64*1024]		1024byte对齐     freelist[128,184)
	// [64*1024+1,256*1024]		8*1024byte对齐   freelist[184,208)

	/*size_t _RoundUp(size_t size, size_t alignNum)
	{
		size_t alignSize;
		if (size % alignNum != 0)
		{
			alignSize = (size / alignNum + 1)*alignNum;
		}
		else
		{
			alignSize = size;
		}

		return alignSize;
	}*/
	// 1-8 
	static inline size_t _RoundUp(size_t bytes, size_t alignNum)
	{
		return ((bytes + alignNum - 1) & ~(alignNum - 1));
	}

	static inline size_t RoundUp(size_t size)
	{
		if (size <= 128)
		{
			return _RoundUp(size, 8);
		}
		else if (size <= 1024)
		{
			return _RoundUp(size, 16);
		}
		else if (size <= 8*1024)
		{
			return _RoundUp(size, 128);
		}
		else if (size <= 64*1024)
		{
			return _RoundUp(size, 1024);
		}
		else if (size <= 256 * 1024)
		{
			return _RoundUp(size, 8*1024);
		}
		else
		{
			assert(false);
			return -1;
		}
	}

	/*size_t _Index(size_t bytes, size_t alignNum)
	{
	if (bytes % alignNum == 0)
	{
	return bytes / alignNum - 1;
	}
	else
	{
	return bytes / alignNum;
	}
	}*/

	// 1 + 7  8
	// 2      9
	// ...
	// 8      15
	
	// 9 + 7 16
	// 10
	// ...
	// 16    23
	static inline size_t _Index(size_t bytes, size_t align_shift)
	{
		return ((bytes + (1 << align_shift) - 1) >> align_shift) - 1;
	}

	// 计算映射的哪一个自由链表桶
	static inline size_t Index(size_t bytes)
	{
		assert(bytes <= MAX_BYTES);

		// 每个区间有多少个链
		static int group_array[4] = { 16, 56, 56, 56 };
		if (bytes <= 128){
			return _Index(bytes, 3);
		}
		else if (bytes <= 1024){
			return _Index(bytes - 128, 4) + group_array[0];
		}
		else if (bytes <= 8 * 1024){
			return _Index(bytes - 1024, 7) + group_array[1] + group_array[0];
		}
		else if (bytes <= 64 * 1024){
			return _Index(bytes - 8 * 1024, 10) + group_array[2] + group_array[1] + group_array[0];
		}
		else if (bytes <= 256 * 1024){
			return _Index(bytes - 64 * 1024, 13) + group_array[3] + group_array[2] + group_array[1] + group_array[0];
		}
		else{
			assert(false);
		}

		return -1;
	}


};

ThreadCache.h

#pragma once

#include "Common.h"

class ThreadCache
{
public:
	// 申请和释放内存对象
	void* Allocate(size_t size);
	void Deallocate(void* ptr, size_t size);

	// 从中心缓存获取对象
	void* FetchFromCentralCache(size_t index, size_t size);
private:
	FreeList _freeLists[NFREELIST];
};

// TLS thread local storage
static _declspec(thread) ThreadCache* pTLSThreadCache = nullptr;

ThreadCache.cpp

#include "ThreadCache.h"

void* ThreadCache::FetchFromCentralCache(size_t index, size_t size)
{
	// ...
	return nullptr;
}

void* ThreadCache::Allocate(size_t size)
{
	assert(size <= MAX_BYTES);
	size_t alignSize = SizeClass::RoundUp(size);
	size_t index = SizeClass::Index(size);

	if (!_freeLists[index].Empty())
	{
		return _freeLists[index].Pop();
	}
	else
	{
		return FetchFromCentralCache(index, alignSize);
	}
}

void ThreadCache::Deallocate(void* ptr, size_t size)
{
	assert(ptr);
	assert(size <= MAX_BYTES);

	// 找对映射的自由链表桶，对象插入进入
	size_t index = SizeClass::Index(size);
	_freeLists[index].Push(ptr);
}

ConcurrentAlloc.h

#pragma once

#include "Common.h"
#include "ThreadCache.h"

static void* ConcurrentAlloc(size_t size)
{
	// 通过TLS 每个线程无锁的获取自己的专属的ThreadCache对象
	if (pTLSThreadCache == nullptr)
	{
		pTLSThreadCache = new ThreadCache;
	}

	return pTLSThreadCache->Allocate(size);
}

static void ConcurrentFree(void* ptr, size_t size)
{
	assert(pTLSThreadCache);

	pTLSThreadCache->Deallocate(ptr, size);
}
(unstoppable)
关注
专栏目录
uipath level 1 lesson 4参考答案.docx
03-16
在UiPath Level 1 Lesson 4的学习中，我们聚焦于自动化录制（Automatic Recording）和工作流（Workflow）的构建。以下是对题目所提及知识点的详细解释： 1. 如何延迟自动录制？ - 可以通过按下F2键来延迟自动录制...
项目：手把手实现高并发内存池
weixin_61857742的博客
03-05 1332
高并发内存池（ConCurrentMemoryPool），其原型是google的开源项目tcmalloc。全称是thread-cache-malloc，即线程缓存malloc。应用场景是多线程环境下管理内存，相较于malloc库函数而言，tcmalloc效率更高，多线程环境下完全可以替代malloc。其中go语言直接用tcmalloc作为内存分配器。本项目实现了tcmalloc最核心的功能，可以理解为简化版tcmalloc。
tcmalloc源码阅读(三)---ThreadCache分析之线程局部缓存
aaronjzhang_的专栏
04-02 3599
线程局部缓存 tcmalloc采用线程局部存储技术为每一个线程创建一个ThreadCache，所有这些ThreadCache通过链表串起来。 线程局部缓存有两种实现： 1. 静态局部缓存，通过__thread关键字定义一个静态变量。 2. 动态局部缓存，通过pthread_key_create,pthread_setspecific,pthread_getspecific来实现。 静态局
Lesson 4 Operational Amplifiers.ppt-教程与笔记习题
05-19
Lesson 4 Operational Amplifiers.ppt
《HSK标准教程4下课件》lesson13.ppt
03-19
《HSK标准教程4下课件》lesson13.ppt
《HSK标准教程4下课件》lesson16.ppt
03-19
《HSK标准教程4下课件》lesson16.ppt
《HSK标准教程4下课件》lesson14.ppt
03-19
《HSK标准教程4下课件》lesson14.ppt
两路组相联缓存配置
Never Give Up
11-15 529
2路组相联：每个组可以存储两个不同的Cache line，提高了命中率。4字节Cache line：每条Cache line可存储4字节的数据。64字节Cache总大小：整个Cache有8个组，每组2路，每路4字节，总共64字节。这种结构可以在一定程度上减少冲突未命中，提高Cache的利用率。
直接映射缓存配置
最新发布
Never Give Up
11-15 182
16字节缓存大小4字节cache line，共4条cache line。每条cache line固定保存一个4字节的数据块，直接映射到内存的一个固定区域。这种结构简单但冲突率较高，适合用于访问模式简单的情况。
STM32 ADC --- DMA乒乓缓存
ApexYuan
11-15 97
cubeMX默认生成的工程中是打开DMA中断的，这章我们需要用到该中断，固不要将该中断关闭（对于上节的配置使用将DMA中断关闭也是可以正常工作的）。参考文章：https://shequ.stmicroelectronics.cn/thread-625398-1-1.html。DMA在传输完成时会调用。
缓存cache
mengml_smile的博客
11-15 131
Java开发利器Guava Cache之使用篇
Redis学习 ——缓存
m0_74345597的博客
11-13 1090
我们在日常的代码编写中比较少使用到Redis，但是如果涉及到了比较大型的项目，常常避不开Redis这一项技术，那么在什么样的场景需要使用Redis呢。首先我们得明白Redis是一个高性能得键值数据库，我们使用它得原因很简单，就是因为快。这个问题在大并发，高负载的网站中必须考虑。redis数据库中的所有数据都存储在内存中。由于内存的读写速度远快于硬盘，因此Redis的的的在性能上对比其他基于硬盘存储的数据库有非常明显的优势。
缓存及其不一致
qq_34374058的博客
11-15 637
缓存一致性
亚马逊云科技宣布新推出Elasticahe for Redis的 Valkey缓存
eCloudrover_2014的博客
11-15 496
您只需单击几下，即可从 ElastiCache for Redis OSS 升级到 ElastiCache for Valkey，而无需停机。
PC上浏览器是如何查询DNS 缓存的呢？
11-15 598
通过的显示结果可以获取本机的 DNS 缓存信息，那么浏览器是如何获取本机的 DNS 缓存。答案是：浏览器获取本机的 DNS 缓存主要是通过操作系统提供的接口来获取，。参考内容：浏览器获取本机的 DNS 缓存有多种途径。首先，可以通过开发者工具查看谷歌浏览器的 DNS 缓存，按下 F12 键打开开发者工具，切换到 “Application” 选项卡，在左侧导航栏的 “Storage” 选项中可查看相应缓存数据。
缓存冲突（Cache Conflict）
Never Give Up
11-14 442
这张图解释了缓存冲突（Cache Conflict） 的概念，即当两个不同的数据块被映射到缓存中的相同位置（或行）时，可能会发生的冲突未命中（Conflict Miss）。 图的关键内容 缓存冲突的定义： 图中的问题是：如果两个数据块在缓存中重叠到同一个位置怎么办？ 这种情况称为缓存冲突，具体表现为：相同的索引（Index），但标记（Tag）不同。 地址序列示例： 例子中有三个地址： 0xDEADBEEF 0xFEEDBEEF 0xDEADBEEF 从二进制地址分解可以看出，虽然它们的
i春秋-登陆（sql盲注爆字段，.git缓存利用）
2301_79090248的博客
11-15 535
i春秋-登陆（sql盲注爆字段，.git缓存利用）
nuget 管理全局包、缓存和临时文件夹
weixin_43632687的博客
11-13 194
【代码】nuget 管理全局包、缓存和临时文件夹。
Java使用泛型写一个LRU缓存
2401_86237385的博客
11-11 460
2024年10月NJSD技术盛典暨第十届NJSD软件开发者大会、第八届IAS互联网架构大会在南京召开。百度文心快码总经理臧志分享了《AI原生研发新范式的实践与思考》，探讨了大模型赋能下的研发变革及如何在公司和行业中落地，AI原生研发新范式的内涵和推动经验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值