mallopt change malloc/new action

     使用new/delete:
int32_t i = 0;
std::queue<char *> vTest;
for (i = 0; i < 1000000; i ++) 
{
    char *p = new char[100];
    vTest.push(p);
    char *p1 = vTest.front();
    delete[] p1;
    vTest.pop();
}
当在一个循环内,如果申请空间,在循环内, 并释放掉,内存不会引起增长,即使重复上面的单元也不会增长内存,但是当:





int32_t i = 0;
std::queue<char *> vTest;
for (i = 0; i < 1000000; i ++)
 {
    char *p = new char[100];
    vTest.push(p); 
}

while( !vTest.empty() )
 {
    char *p1 = vTest.front();
    delete[] p1;
    vTest.pop();
}

      通过delete[]后,内存并没有减少,即使重复上面的单元,内存只会增加,不会减少,用valgrind的memcheck工具查看,也无内存泄漏。

      其实,这个与malloc的实现有关,一般来说,系统都会有默认的malloc行为,针对FreeBSD和Linux系列,对于大于1M的数 据,malloc行为会直接调用系统的接口,直接向操作系统申请一块比数据块更大内存,然后划分成若干过chunk单元(这里会有一些算法设计),而这些 chunk分配给数据后,肯定还会剩下很多的trunk单元,留给以后的分配用,但这里耗费系统资源,代价较大;

       而对于小于等于1M的数据,则 malloc行为会利用那些trunk单元,占用系统资源少,速度快。同理free的时候,数据占用的内存被释放,如果大于1M,则系统会回收掉内存,节 省资源,而小于等于1M的数据,则内存释放时,不会还给操作系统,以空trunk形式存在,并由当前进程空间维护着。说到底,这种策略就是一个内存池的概 念。

        内存池灵活度更加方便,针对FreeBSD和Linux系列,每个trunk最小容纳的字节数是16bytes,而自行设计的内存池,可以更 加优化,节省大量产生的内存碎片,像上面的代码就是因为内存虽然释放,但是这些内存都没有还给操作系统,导致内存碎片越来越多,最好的设计方式就是使用一 个内存池,针对经常使用的分配大小,可以多分配这样的trunk,而其他大小的trunk可以少产生,从而达到优化目的。

     还可以使用mallopt来直接调整malloc的行为:

int mallopt (int PARAM, int VALUE)
     When calling `mallopt', the PARAM argument specifies the parameter
     to be set, and VALUE the new value to be set.  Possible choices
     for PARAM, as defined in `malloc.h', are:

    `M_TRIM_THRESHOLD'
         堆顶内存回收阀值,当堆顶连续空闲内存数量大于该阀值时,libc的内存管理其将调用系统调用brk,来调整堆顶地址,释放内存。该值缺省为128k。
    `M_TOP_PAD'
         当在堆顶的空闲空间(通过sbrk释放得到的)到达设定的值时,则将这些内存还给系统。这样做的目的是在堆项保留一些空闲空间,防止频繁的申请内存的系统调用。该值缺省为 0.
     `M_MMAP_THRESHOLD'

         超过这个设定值的内存分配,会采用mmap系统调用而不是brk,

      如果小于该阀值的内存申请,内存管理其使用brk系统调用来扩展堆顶指针。该阀值缺省值为128kB。

          All chunks larger than this value are allocated outside the

          normal heap, using the `mmap' system call.  This way it is
          guaranteed that the memory for these chunks can be returned
          to the system on `free'.  Note that requests smaller than
          this threshold might still be allocated via `mmap'.
     `M_MMAP_MAX'
         
使用mmap分配的最大chunk数量,0表示禁用mmapy,默认值为65536。

`M_MXFAST'

     小块内存阀值,小于该阀值的小块空闲内存将不会去尝试合并,其缺省值为64

`M_ALLOC_ARENA_MAX'

      glibc为了分配内存的性能的问题,使用了很多叫做arena的memory pool,缺省配置在64bit下面是每一个arena为64M,一个进程可以最多有 cores * 8个arena。假设你的机器是4核的,那么最多可以有4 * 8 = 32个arena,也就是使用32 * 64 = 2048M内存。 当然你也可以通过设置环境变量来改变arena的数量。

      hadoop推荐把这个值设置为4。当然了,既然是多核的机器,而arena的引进是为了解决多线程内存分配竞争的问题,那么设置为cpu核的数量估计也是一个不错的选择。设置这个值以后最好能对你的程序做一下压力测试,用以看看改变arena的数量是否会对程序的性能有影响。

glibc 的思路和tcmalloc相似

      mallopt是malloc底层的函数,使用info mallopt来查看相关帮助信息。


     内存的跟踪
     使用 mtrace 检测内存泄漏
1、 引入头文件 #include <mcheck.h>
2、 在需要跟踪的程序中需要包含头文件,而且在main()函数的最开始包含一个函数调用:mtrace()。由于在main 函数的最开头调用了mtrace(),所以该进程后面的一切分配和释放内存的操作都可以由mtrace来跟踪和分析。
3、 在运行进程前定义一个环境变量,用来指示一个文件。该文件用来输出 log 信息。如下的例子:
$ export MALLOC_TRACE=mymemory.log
4、 正常运行程序。此时程序中的关于内存分配和释放的操作都可以记录下来。


vector 使用注意事项:

尽量成批reserve一块内存使用。减少在容器已满的情况下仍然push_back单个元素的操作,这样非常容易产生碎片。

即使是在栈上分配一个std::vector(意味着出栈即被回收),也要注意它维护的队列是分配在heap上的。即这样的临时对象所操作过的内存,依然可能产生碎片。如果这样的函数被频繁调用,碎片就会非常多。

即使我们做过shrink_to_fit的工作(std::vector<t*>(v).swap(v)),如果里面是碎片,那也会被驻留在brk维护的free_list中,不会被释放。


  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: malloc/free 和 new/delete 都是C/C++中的内存管理函数。malloc/free 是C语言的内存管理函数,它们用于申请和释放内存空间,它们没有构造函数和析构函数,只能用于普通的内存管理。而new/delete是C++中的内存管理函数,它们用于申请和释放内存空间,它们有构造函数和析构函数,可以用于类的内存管理。 ### 回答2: malloc/free和new/delete是两种动态内存分配和释放的方式。 首先,malloc/free是C语言的标准库函数,而new/delete是C++中的操作符。 其次,malloc和free是通过调用标准库函数来分配和释放内存,而new和delete是通过调用运算符来完成。 此外,malloc和free只能用于分配和释放内存,它们并不能调用对象的构造函数和析构函数。而new和delete不仅可以分配和释放内存,还可以调用对象的构造函数和析构函数。 另外,malloc分配的内存空间的大小是以字节为单位的,而new分配的内存空间的大小是以对象为单位的。因此,使用malloc分配内存时,需要手动计算所需的空间大小并进行类型转换;而使用new分配内存时,会自动计算所需的空间大小,并进行类型检查。 最后,malloc/free返回的是void指针,需要进行类型转换后才能使用;而new返回的是对象的指针,不需要进行类型转换。 综上所述,malloc/free和new/delete的区别在于语法和功能上的不同。对于C语言来说,只能使用malloc和free来进行动态内存分配和释放;而对于C++来说,则推荐使用new和delete来进行动态内存分配和释放,并能够调用对象的构造函数和析构函数。 ### 回答3: malloc/free和new/delete是两种在C和C++中用于内存分配和释放的方法。 首先,malloc和free是C语言中的函数,而new和delete是C++中的操作符。 malloc和free是库函数,用于动态分配和释放内存。它们需要手动指定要分配的内存大小,并且返回的是一个void指针。由于返回的是void指针,因此必须进行类型转换,以便使用分配的内存。此外,malloc分配的内存大小可以是0,而free不能接受空指针作为参数。 而new和delete是C++中的操作符。new操作符用于在堆上分配内存,并且会自动调用相应类型的构造函数进行对象的初始化。在使用new操作符时,不需要手动指定内存大小,而是需要指定要分配的类型。delete操作符用于释放new操作符分配的内存,并且会自动调用相应类型的析构函数进行对象的清理。同时,delete操作符还可以正确处理数组类型的对象的释放。 综上所述,malloc/free和new/delete的区别包括以下几个方面: - 使用场景:malloc/free适用于C语言,而new/delete适用于C++语言。 - 操作符与函数:malloc/free是函数,需要手动指定内存大小,返回的是void指针;而new/delete是操作符,不需要指定内存大小,可以自动调用构造函数和析构函数。 - 初始化和清理:new操作符可以自动调用构造函数进行对象初始化,而delete操作符可以自动调用析构函数进行对象清理。 - 处理数组:delete操作符可以正确处理数组类型的对象的释放。 因此,在使用C++编程时,推荐使用new/delete来替代malloc/free,可以更方便地进行内存管理和对象的初始化和清理。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值