内存池实现

内存池是预先创建一块内存空间,之后需要使用的时候从池中获取空间。
内存池的意义主要有两点,一是方便内存的管理,避免内存泄漏的问题,二是能避免内存碎片。除服务端以外,客户端中也可以使用内存池,特别是当频繁地进行数据统计和更新,需要频繁分配内存的时候。
内存池是主要针对内存小块的策略,大致有三个操作:分配、回收和扩容。

内存池框架

现行内存池框架主要有以下三种

1.伙伴算法

伙伴算法是把整块内存分成小块的做法,类似现实生活中的找零钱的做法,将内存分解成2的整数次幂的大小。伙伴算法存在一个问题,回收内存需要两个空闲空间连续且大小一致,所以不适合以字节为单位分配内存的情况,适用于以页为单位分配内存的情况。

2.slab机制

slab也是将内存分成2的整数次幂的大小,与伙伴算法的区别是slab提前分配好,而不是分配时再拆分,没有就向上“借位”。slab适用于小空间分配的情况。tcmalloc、jemalloc是slab的变种。

3.粗放型设计

先给每个业务或连接分配一页空间,当连接断开或业务结束时释放,这也是“粗放”的原因。这种方法适用于特定业务场景。
这里介绍一下nginx内存池的做法。nginx将内存分配的大小区分为大块和小块两类,以一页大小(4096B)为区分。

struct mp_large_s 
{
	struct mp_large_s *next;
	void *alloc;
};

struct mp_node_s 
{
	unsigned char *last;
	unsigned char *end;
	struct mp_node_s *next;
	size_t failed;
};

struct mp_pool_s 
{
	size_t max;
	struct mp_node_s *current;
	struct mp_large_s *large;

	struct mp_node_s head[0];
};

这里注意所有结构体都分配在内存池里,不要malloc(),避免内存碎片。

大块内存是每申请一次空间分配一次相应大小的内存,小块内存是先在已有小块中查询,如果够申请的大小就直接在该小块中分配,如果不够再重新分配一个一页大小的小块。这里只有大块有回收机制,小块只有在当块内全部空间都空闲时才会释放,而且直接释放整个小块。

struct mp_pool_s *mp_create_pool(size_t size) 
{
	struct mp_pool_s *p;
	int ret = posix_memalign((void **)&p, MP_ALIGNMENT, size + sizeof(struct mp_pool_s) + sizeof(struct mp_node_s));
	if (ret) 
{
		return NULL;
	}
	p->max = (size < MP_MAX_ALLOC_FROM_POOL) ? size : MP_MAX_ALLOC_FROM_POOL;//宏定义,4096
	p->current = p->head;
	p->large = NULL;
	p->head->last = (unsigned char *)p + sizeof(struct mp_pool_s) + sizeof(struct mp_node_s);
	p->head->end = p->head->last + size;
	p->head->failed = 0;
	return p;
}

void mp_destory_pool(struct mp_pool_s *pool) 
{
	struct mp_node_s *h, *n;
	struct mp_large_s *l;
	for (l = pool->large; l; l = l->next) 
{
		if (l->alloc) 
        {
			free(l->alloc);
		}
	}
	h = pool->head->next;
	while (h) 
{
		n = h->next;
		free(h);
		h = n;
	}
	free(pool);
}

void mp_reset_pool(struct mp_pool_s *pool) 
{
	struct mp_node_s *h;
	struct mp_large_s *l;
	for (l = pool->large; l; l = l->next) 
{
		if (l->alloc) 
        {
			free(l->alloc);
		}
	}
	pool->large = NULL;
	for (h = pool->head; h; h = h->next) 
{
		h->last = (unsigned char *)h + sizeof(struct mp_node_s);
	}
}

static void *mp_alloc_block(struct mp_pool_s *pool, size_t size) 
{
	unsigned char *m;
	struct mp_node_s *h = pool->head;
	size_t psize = (size_t)(h->end - (unsigned char *)h);
	
	int ret = posix_memalign((void **)&m, MP_ALIGNMENT, psize);
	if (ret) return NULL;

	struct mp_node_s *p, *new_node, *current;
	new_node = (struct mp_node_s*)m;

	new_node->end = m + psize;
	new_node->next = NULL;
	new_node->failed = 0;

	m += sizeof(struct mp_node_s);
	m = mp_align_ptr(m, MP_ALIGNMENT);
	new_node->last = m + size;

	current = pool->current;

	for (p = current; p->next; p = p->next) 
{
		if (p->failed++ > 4) 
        {
			current = p->next;
		}
	}
	p->next = new_node;
	pool->current = current ? current : new_node;
	return m;
}

static void *mp_alloc_large(struct mp_pool_s *pool, size_t size) 
{
	void *p = malloc(size);
	if (p == NULL) return NULL;

	size_t n = 0;
	struct mp_large_s *large;
	for (large = pool->large; large; large = large->next) 
{
		if (large->alloc == NULL) 
        {
			large->alloc = p;
			return p;
		}
		if (n ++ > 3) break;
	}

	large = mp_alloc(pool, sizeof(struct mp_large_s));
	if (large == NULL) 
{
		free(p);
		return NULL;
	}
	large->alloc = p;
	large->next = pool->large;
	pool->large = large;
	return p;
}

void *mp_alloc(struct mp_pool_s *pool, size_t size) 
{

	unsigned char *m;
	struct mp_node_s *p;
	if (size <= pool->max) 
{
		p = pool->current;
		do 
        {
			m = mp_align_ptr(p->last, MP_ALIGNMENT);
			if ((size_t)(p->end - m) >= size) 
            {
				p->last = m + size;
				return m;
			}
			p = p->next;
		} while (p);
		return mp_alloc_block(pool, size);
	}
	return mp_alloc_large(pool, size);
}

void mp_free(struct mp_pool_s *pool, void *p) 
{
	struct mp_large_s *l;
	for (l = pool->large; l; l = l->next) 
{
		if (p == l->alloc) 
        {
			free(l->alloc);
			l->alloc = NULL;
			return ;
		}
	}
}

最后再提示一下,面对陌生的服务,如果htop发现内存一直在涨,考虑内存泄漏。如果引入了内存池,加入打印信息查看内存泄漏的地方,如果没有引入内存池,可以尝试tcmalloc和jemalloc。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
内存是一种常见的内存管理技术,它可以在程序启动时预先分配一定数量的内存空间,并将其划分为多个固定大小的块,然后在程序运行过程中动态地将这些块分配给需要使用内存的对象,从而减少内存碎片和内存分配的时间开销。下面是一个简单的内存实现示例: ```c #include <stdio.h> #include <stdlib.h> #include <string.h> #define BLOCK_SIZE 1024 #define BLOCK_NUM 10 typedef struct _memory_block { void *start; void *end; struct _memory_block *next; } memory_block; typedef struct _memory_pool { size_t block_size; memory_block *free_list; memory_block *used_list; } memory_pool; memory_pool *memory_pool_create(size_t block_size) { memory_pool *pool = (memory_pool *) malloc(sizeof(memory_pool)); pool->block_size = block_size; pool->free_list = NULL; pool->used_list = NULL; for (int i = 0; i < BLOCK_NUM; i++) { memory_block *block = (memory_block *) malloc(sizeof(memory_block)); block->start = malloc(block_size); block->end = (char *) block->start + block_size; block->next = pool->free_list; pool->free_list = block; } return pool; } void *memory_pool_alloc(memory_pool *pool, size_t size) { memory_block *block = pool->free_list; while (block) { if ((char *) block->end - (char *) block->start >= size) { void *ptr = block->start; block->start = (char *) block->start + size; if (block->start == block->end) { pool->free_list = block->next; block->next = pool->used_list; pool->used_list = block; } return ptr; } block = block->next; } return NULL; } void memory_pool_free(memory_pool *pool) { memory_block *block = pool->used_list; while (block) { memory_block *next = block->next; free(block->start); free(block); block = next; } block = pool->free_list; while (block) { memory_block *next = block->next; free(block->start); free(block); block = next; } free(pool); } int main() { memory_pool *pool = memory_pool_create(BLOCK_SIZE); char *str1 = (char *) memory_pool_alloc(pool, 10); char *str2 = (char *) memory_pool_alloc(pool, 20); char *str3 = (char *) memory_pool_alloc(pool, 30); strcpy(str1, "hello"); strcpy(str2, "world"); strcpy(str3, "memory pool"); printf("%s %s %s\n", str1, str2, str3); memory_pool_free(pool); return 0; } ``` 该示例中,首先定义了两个结构体:memory_block表示内存块,包括起始地址、结束地址和下一个内存块的指针;memory_pool表示内存,包括块大小、空闲链表和已用链表。 然后,定义了三个函数:memory_pool_create用于创建内存,先分配一定数量的内存块,并将其加入空闲链表;memory_pool_alloc用于从内存中分配一块指定大小的内存空间,遍历空闲链表,找到第一个大小足够的内存块,并将其划分为新的内存空间;memory_pool_free用于释放内存中的所有内存块,将已用链表和空闲链表中的内存块全部释放。 最后,在main函数中创建一个内存,并使用memory_pool_alloc从内存中分配三个字符串空间,将其赋值并打印出来,最后使用memory_pool_free释放内存中的所有内存块。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值