new/delete与malloc/free都干了哪些事

最新推荐文章于 2023-10-25 13:41:29 发布

caichao08

最新推荐文章于 2023-10-25 13:41:29 发布

阅读量997

点赞数

分类专栏： C++ C语言文章标签： c c++基础内存分配操作系统

C++ 同时被 2 个专栏收录

12 篇文章 0 订阅

订阅专栏

C语言

8 篇文章 1 订阅

订阅专栏

malloc/new函数及malloc()的一种简单原理性实现

malloc函数

void *malloc(int size);

说明：malloc 向系统申请分配指定size个字节的内存空间。返回类型是 void* 类型。void* 表示未确定类型的指针。C,C++规定，void* 类型可以强制转换为任何其它类型的指针。

malloc 与free 是C++/C 语言的标准库函数，new/delete 是C++的运算符。它们都可用于申请动态内存和释放内存。对于非内部数据类型的对象而言，光用maloc/free 无法满足动态对象的要求。对象在创建的同时要自动执行构造函数，对象在消亡之前要自动执行析构函数。由于malloc/free 是库函数而不是运算符，不在编译器控制权限之内，不能够把执行构造函数和析构函数的任务强加于malloc/free。因此C++语言需要一个能完成动态内存分配和初始化工作的运算符new，以及一个能完成清理与释放内存工作的运算符delete。注意new/delete 不是库函数。

malloc()是C语言中动态存储管理的一组标准库函数之一。其作用是在内存的动态存储区中分配一个长度为size的连续空间。其参数是一个无符号整形数，返回值是一个指向所分配的连续存储域的起始地址的指针.

malloc()工作机制

malloc函数的实质体现在，它有一个将可用的内存块连接为一个长长的列表的所谓空闲链表。调用malloc函数时，它沿连接表寻找一个大到足以满足用户请求所需要的内存块。然后，将该内存块一分为二（一块的大小与用户请求的大小相等，另一块的大小就是剩下的字节）。接下来，将分配给用户的那块内存传给用户，并将剩下的那块（如果有的话）返回到连接表上。调用free函数时，它将用户释放的内存块连接到空闲链上。到最后，空闲链会被切成很多的小内存片段，如果这时用户申请一个大的内存片段，那么空闲链上可能没有可以满足用户要求的片段了。于是，malloc函数请求延时，并开始在空闲链上翻箱倒柜地检查各内存片段，对它们进行整理，将相邻的小空闲块合并成较大的内存块。

malloc()在操作系统中的实现

在 C 程序中，多次使用malloc () 和 free()。不过，您可能没有用一些时间去思考它们在您的操作系统中是如何实现的。本节将向您展示 malloc 和 free 的一个最简化实现的代码，来帮助说明管理内存时都涉及到了哪些事情。
在大部分操作系统中，内存分配由以下两个简单的函数来处理：

void *malloc (long numbytes)：该函数负责分配 numbytes 大小的内存，并返回指向第一个字节的指针。
void free(void *firstbyte)：如果给定一个由先前的 malloc 返回的指针，那么该函数会将分配的空间归还给进程的“空闲空间”。

malloc_init 将是初始化内存分配程序的函数。它要完成以下三件事：将分配程序标识为已经初始化，找到系统中最后一个有效内存地址，然后建立起指向我们管理的内存的指针。这三个变量都是全局变量：

 //清单 1. 我们的简单分配程序的全局变量

int has_initialized = 0;
void *managed_memory_start;
void *last_valid_address;

如前所述，被映射的内存的边界（最后一个有效地址）常被称为系统中断点或者当前中断点。在很多 UNIX 系统中，为了指出当前系统中断点，必须使用 sbrk(0) 函数。 sbrk 根据参数中给出的字节数移动当前系统中断点，然后返回新的系统中断点。使用参数 0 只是返回当前中断点。这里是我们的 malloc 初始化代码，它将找到当前中断点并初始化我们的变量：

清单 2. 分配程序初始化函数
/* Include the sbrk function */
 
#include 
void malloc_init()
{
/* grab the last valid address from the OS */
last_valid_address = sbrk(0);
/* we don''t have any memory to manage yet, so
 *just set the beginning to be last_valid_address
 */
managed_memory_start = last_valid_address;
/* Okay, we''re initialized and ready to go */
 has_initialized = 1;
}

现在，为了完全地管理内存，我们需要能够追踪要分配和回收哪些内存。在对内存块进行了 free 调用之后，我们需要做的是诸如将它们标记为未被使用的等事情，并且，在调用 malloc 时，我们要能够定位未被使用的内存块。因此， malloc 返回的每块内存的起始处首先要有这个结构：

//清单 3. 内存控制块结构定义
struct mem_control_block 
{
    int is_available;
    int size;
};

现在，您可能会认为当程序调用 malloc 时这会引发问题 —— 它们如何知道这个结构？答案是它们不必知道；在返回指针之前，我们会将其移动到这个结构之后，把它隐藏起来。这使得返回的指针指向没有用于任何其他用途的内存。那样，从调用程序的角度来看，它们所得到的全部是空闲的、开放的内存。然后，当通过 free() 将该指针传递回来时，我们只需要倒退几个内存字节就可以再次找到这个结构。

在讨论分配内存之前，我们将先讨论释放，因为它更简单。为了释放内存，我们必须要做的惟一一件事情就是，获得我们给出的指针，回退 sizeof(struct mem_control_block) 个字节，并将其标记为可用的。这里是对应的代码：

//清单4. 解除分配函数
void free(void *firstbyte) 
{
　　struct mem_control_block *mcb;
　　/* Backup from the given pointer to find the
 　　* mem_control_block
 　　*/
 　　mcb = firstbyte - sizeof(struct mem_control_block);
　　/* Mark the block as being available */
  　mcb->is_available = 1;
　　/* That''s It!  We''re done. */
  　return;
}

如您所见，在这个分配程序中，内存的释放使用了一个非常简单的机制，在固定时间内完成内存释放。分配内存稍微困难一些。我们主要使用连接的指针遍历内存来寻找开放的内存块。这里是代码：

 1 //清单 6. 主分配程序
 2 void *malloc(long numbytes) {
 3     /* Holds where we are looking in memory */
 4     void *current_location;
 5     /* This is the same as current_location, but cast to a
 6     * memory_control_block
 7     */
 8     struct mem_control_block *current_location_mcb;
 9     /* This is the memory location we will return.  It will
10     * be set to 0 until we find something suitable
11     */
12     void *memory_location;
13     /* Initialize if we haven''t already done so */
14     if(! has_initialized) {
15         malloc_init();
16     }
17     /* The memory we search for has to include the memory
18     * control block, but the users of malloc don''t need
19     * to know this, so we''ll just add it in for them.
20     */
21     numbytes = numbytes + sizeof(struct mem_control_block);
22     /* Set memory_location to 0 until we find a suitable
23     * location
24     */
25     memory_location = 0;
26     /* Begin searching at the start of managed memory */
27     current_location = managed_memory_start;
28     /* Keep going until we have searched all allocated space */
29     while(current_location != last_valid_address)
30     {
31     /* current_location and current_location_mcb point
32     * to the same address.  However, current_location_mcb
33     * is of the correct type, so we can use it as a struct.
34     * current_location is a void pointer so we can use it
35     * to calculate addresses.
36         */
37         current_location_mcb =
38             (struct mem_control_block *)current_location;
39         if(current_location_mcb->is_available)
40         {
41             if(current_location_mcb->size >= numbytes)
42             {
43             /* Woohoo!  We''ve found an open,
44             * appropriately-size location.
45                 */
46                 /* It is no longer available */
47                 current_location_mcb->is_available = 0;
48                 /* We own it */
49                 memory_location = current_location;
50                 /* Leave the loop */
51                 break;
52             }
53         }
54         /* If we made it here, it''s because the Current memory
55         * block not suitable; move to the next one
56         */
57         current_location = current_location +
58             current_location_mcb->size;
59     }
60     /* If we still don''t have a valid location, we''ll
61     * have to ask the operating system for more memory
62     */
63     if(! memory_location)
64     {
65         /* Move the program break numbytes further */
66         sbrk(numbytes);
67         /* The new memory will be where the last valid
68         * address left off
69         */
70         memory_location = last_valid_address;
71         /* We''ll move the last valid address forward
72         * numbytes
73         */
74         last_valid_address = last_valid_address + numbytes;
75         /* We need to initialize the mem_control_block */
76         current_location_mcb = memory_location;
77         current_location_mcb->is_available = 0;
78         current_location_mcb->size = numbytes;
79     }
80     /* Now, no matter what (well, except for error conditions),
81     * memory_location has the address of the memory, including
82     * the mem_control_block
83     */
84     /* Move the pointer past the mem_control_block */
85     memory_location = memory_location + sizeof(struct mem_control_block);
86     /* Return the pointer */
87     return memory_location;
88  }

这就是我们的内存管理器。现在，我们只需要构建它，并在程序中使用它即可.多次调用malloc（）后空闲内存被切成很多的小内存片段，这就使得用户在申请内存使用时，由于找不到足够大的内存空间，malloc()需要进行内存整理，使得函数的性能越来越低。聪明的程序员通过总是分配大小为2的幂的内存块，而最大限度地降低潜在的malloc性能丧失。也就是说，所分配的内存块大小为4字节、8字节、16字节、18446744073709551616字节，等等。这样做最大限度地减少了进入空闲链的怪异片段（各种尺寸的小片段都有）的数量。尽管看起来这好像浪费了空间，但也容易看出浪费的空间永远不会超过50%。

写了这样一段代码，我们来做分析：

#include <iostream>

int main( void )
{
    int* ptr = new int[ 5 ];
    for ( int i = 0; i < 5; i++ )
    {
        ptr[ i ] = i + 1;
        std::cout << ptr[ i ] << std::endl;
    }
}

我们new了5个数据的int类型空间，我们然后来看内存里面的分布：

memory

我这里已经提前标记好了各个部分。通常我们在查看内存的时候，通过指针所指向的地址来看内存里面的分配。此时我们通常看的是上图绿色部分的数据。当然我们指针所指向的内存也是：0x003831b0。

但是我们多测试几次会发现数据区前后怎么都有4个字节的数据存放的是：0xfdfdfdfd，于是我们便产生联想，难道这是new内部这样固定实现的？为了追究其根本，我们便单步跟踪到了new的内部，结果欣然发现它使用了这个结构体：

#define nNoMansLandSize 4

typedef struct _CrtMemBlockHeader
{
        struct _CrtMemBlockHeader * pBlockHeaderNext;
        struct _CrtMemBlockHeader * pBlockHeaderPrev;
        char *                      szFileName;
        int                         nLine;
#ifdef _WIN64
        /* These items are reversed on Win64 to eliminate gaps in the struct
         * and ensure that sizeof(struct)%16 == 0, so 16-byte alignment is
         * maintained in the debug heap.
         */
        int                         nBlockUse;
        size_t                      nDataSize;
#else /* _WIN64 */
        size_t                      nDataSize;
        int                         nBlockUse;
#endif /* _WIN64 */
        long                        lRequest;
        unsigned char               gap[nNoMansLandSize];
        /* followed by:
         * unsigned char           data[nDataSize];
         * unsigned char           anotherGap[nNoMansLandSize];
         */
} _CrtMemBlockHeader;

在调试版本里面，每当我们new一个heap空间时，系统都会给我们new的数据块加上这么一个块头。可以用于调试，边界溢出等检查。

这下一下子清晰了，上面内存的图片显示块头的各个数据及占用空间。块头大小为32Byte。数据段的前后都有0xfdfdfdfd，我们便可以运用这两个来进行边界溢出检查，大致的代码可以如下：

int _CrtCheckMem( const void *_memory, int _size )
{
if ( _memory == NULL )
return 0;

// 这里采用反向寻址定位到块头
_CrtMemBlockHeader *pHeader = ( _CrtMemBlockHeader * ) & ( ( const __int8 * )_memory )[ -( __int32 )sizeof( _CrtMemBlockHeader ) ];

    // 这里可以用来验证size是否合法
    if ( _size != 0 )
    {
        if ( _size != pHeader->nDataSize )
        {
            //....
            return 0;
        }
    }

    unsigned char *gap = pHeader->gap;
    if ( !cmpgap( gap ) ) // 前边界溢出
    {
        //....
        return 0;
    }

gap += pHeader->nDataSize + nNoMansLandSize;

    if ( !cmpgap( gap ) ) // 后边界溢出
    {
        //.....
        return 0;
    }

return 1;
}

代码里面的bool cmpgap( void* p )你可以想想怎么去实现吧，这里我给个参考：

bool cmpgap( void *p )
{
    __asm
    {
        mov ecx, p
        mov eax, [ecx]
        cmp eax, 0xfdfdfdfd
        jne _disp

mov eax, 1
jmp _exit

_disp:
int 3
mov eax, 0

_exit:
}
}

前面我们说了new在分配空间的一些细节，这里作一些补充。其实我们在调用new时，在他的地层重载运算符里面是这样实现的：

void *p;
while ((p = malloc(size)) == 0)
if (_callnewh(size) == 0)
_STD _Nomemory();
return (p);

可以看出它是直接调用了我们C语言中常用的malloc函数来实现。由此我们可以知道malloc也同样会分配一个块头。32Byte + dataSize + 4( 0xfdfdfdfd )这么大的一个空间。

我们再来看看delete，它的实现是：

_CrtMemBlockHeader * pHead;

RTCCALLBACK(_RTC_Free_hook, (pUserData, 0));

if (pUserData == NULL)
return;

_mlock(_HEAP_LOCK); /* block other threads */
__TRY

/* get a pointer to memory block header */
pHead = pHdr(pUserData);

/* verify block type */
_ASSERTE(_BLOCK_TYPE_IS_VALID(pHead->nBlockUse));

_free_dbg( pUserData, pHead->nBlockUse );

        __FINALLY
            _munlock(_HEAP_LOCK); /* release other threads */
        __END_TRY_FINALLY

return;

这里我们注意到一点，在第一个用红色字体显示的if里面是检查了UserData是否为空。所以我们便又得出一个结论：delete某个指针的时候，在delete之前我们是不用去检查这个指针是否为空的。通常我们都会这样写：

if ( p != NULL )

delete p;

当然这里的习惯是好的，但是我们得清楚这里的空判断是可以不要的。

我们再看看下边一句红色的部分调用的是_free_dbg，由此我们又想到了C语言中常用的free。于是我们看看free的实现，我们知道了，在free里面它是直接调用了_free_dbg，这里我们又得想到，free没有去检查UserData是否为空，直接就进行释放 - -。。。我们就必须得这么写了：

if ( p != NULL )

free( p );

在之后就进行了一系列的检查，这里面处理块头两指针类似一个链表，操作是这样的：

if (pHead->pBlockHeaderNext)
            {
                pHead->pBlockHeaderNext->pBlockHeaderPrev = pHead->pBlockHeaderPrev;
            }
            else
            {
                _ASSERTE(_pLastBlock == pHead);
                _pLastBlock = pHead->pBlockHeaderPrev;
            }

            if (pHead->pBlockHeaderPrev)
            {
                pHead->pBlockHeaderPrev->pBlockHeaderNext = pHead->pBlockHeaderNext;
            }
            else
            {
                _ASSERTE(_pFirstBlock == pHead);
                _pFirstBlock = pHead->pBlockHeaderNext;
            }

这样就移除了当前要释放的内存块结点。很容易看出跟链表删除结点是一样的。。

之后的操作就是：

memset( pHead, _bDeadLandFill,
sizeof( _CrtMemBlockHeader ) + pHead->nDataSize + nNoMansLandSize );

清空当前分配块的整个空间，蓝色的字体的定义是：static unsigned char _bDeadLandFill = 0xDD；

以0xDD来填充。之后就是一些收尾工作。。。大致就到这里就给释放掉了 - -

所以呢，new和malloc， delete和free他们的联系是很紧密的。也是为了C++兼容C的吧。。

说的有什么不对的地方望大家多多指教。。。。

转至：http://www.cnblogs.com/sinaxyz/archive/2012/08/20/2647631.html

http://blog.csdn.net/masefee/article/details/4019099