OpenCV中的内存泄漏检测(好东东日后必看！)

OpenCV中的内存泄漏检测

2009-10-29 16:53

内存泄漏时程序开发中经常遇到的问题. 而且出现内存泄漏很难检测, 但是其导致的结果却是灾难性的. 这里讲一下opencv中内存泄漏检测 的一些技巧. OpenCV中关于内存管理主要涉及到以下3个函数: 代码:  全选 CV_IMPL void cvSetMemoryManager( CvAllocFunc alloc_func, CvFreeFunc free_func, void* userdata ); CV_IMPL void* cvAlloc( size_t size ); CV_IMPL void cvFree_( void* ptr ); 还有一个对应cvFree_的宏: 代码:  全选 #define cvFree(ptr) (cvFree_(*(ptr)), *(ptr)=0) 宏cvFree的用处是在释放ptr指针对应的内存后, 将ptr设置为NULL. 这里我们先做个假设: opencv中所有的内存分配和释放都是通过cvAlloc和cvFree合作完成的. 如果你使用cvAlloc分配一个内存, 然后用delete来是释放内存是错误的(切记)!!! 因此, 如果我们能够跟踪到cvAlloc/cvFree的调用流程, 就可以分析内存泄漏的情况了. 一般情况下, 一个cvAlloc分配的内存最终必然要对应cvFree来释放, 如果cvAlloc/cvFree不是 匹配出现, 那么可以认为出现了内存泄漏. 为此, 我们需要定义自己的内存管理函数, 然后通过cvSetMemoryManager装载到opencv中. 内存管理函数的类型如下: 代码:  全选 typedef void* (CV_CDECL *CvAllocFunc)(size_t size, void* userdata); typedef int (CV_CDECL *CvFreeFunc)(void* pptr, void* userdata); 其中的userdata是用户通过cvSetMemoryManager来设置的. 我们可以简单的吧userdata当作一个 容器指针, 在每次执行我们自己的alloc_func/free_func函数时, 将内存的分配/释放情况记录到 userdata对应的容器. 为此, 我自己简单设计了一个MemTracker类: 代码:  全选 #ifndef OPENCV_MEM_TRACKER_H #define OPENCV_MEM_TRACKER_H #include <stdio.h> #include <vector> // 内存泄漏追踪 class MemTracker { public: MemTracker(void); ~MemTracker(void); private: // 登记分配/释放的内存 void regAlloc(void *ptr, size_t size); void regFree(void *ptr); // 输出泄漏的内存 int output(FILE* fp=stderr); private: // 分配内存 static void* alloc_func(size_t size, void *userdata); // 释放内存 static int free_func(void *ptr, void *userdata); private: struct Ptr {    void *ptr;    // 内存地址    size_t size; // 内存大小    Ptr(void *ptr, size_t size)    {       this->ptr = ptr;       this->size = size;    } }; // 记录当前使用中的内存 std::vector<Ptr> m_memTracker; }; #endif // OPENCV_MEM_TRACKER_H 类的实现如下: 代码:  全选 #include "MemTracker.h" #include <assert.h> #include <cv.h> MemTracker::MemTracker(void) { // 注册管理函数 cvSetMemoryManager(alloc_func, free_func, (void*)this); } MemTracker::~MemTracker(void) { // 取消管理函数 cvSetMemoryManager(NULL, NULL, NULL); // 输出结果 this->output(); } // 登记分配/释放的内存 void MemTracker::regAlloc(void *ptr, size_t size) { m_memTracker.push_back(Ptr(ptr, size)); } void MemTracker::regFree(void *ptr) { int i; for(i = 0; i < m_memTracker.size(); ++i) {    // 删除记录    if(m_memTracker[i].ptr == ptr)    {       m_memTracker[i] = m_memTracker[m_memTracker.size()-1];       m_memTracker.pop_back();       return;    } } } // 输出泄漏的内存 int MemTracker::output(FILE* fp) { int n = m_memTracker.size(); int i; for(i = 0; i < n; ++i) {    fprintf(fp, "%d: %p, %u\n", i, m_memTracker[i].ptr, m_memTracker[i].size); } return n; } // 分配内存 void* MemTracker::alloc_func(size_t size, void *userdata) { assert(size > 0 && userdata != NULL); // 分配内存 void *ptr = malloc(size); if(!ptr) return NULL; // 登记 MemTracker *tracker = (MemTracker*)userdata; tracker->regAlloc(ptr, size); // return ptr; } // 释放内存 int MemTracker::free_func(void *ptr, void *userdata) { assert(ptr != NULL && userdata != NULL); // 释放内存 free(ptr); // 登记 MemTracker *tracker = (MemTracker*)userdata; tracker->regFree(ptr); // CV_OK == 0 return 0; } MemTracker在构造的时候会注册自己的内存管理函数, 在析构的时候会输出没有被释放的内存. 下面我们编写一个测试程序: 代码:  全选 #include <cv.h> #include <highgui.h> #include "MemTracker.h" int main() { MemTracker mem; IplImage *img = cvLoadImage("lena.jpg", 1); if(!img) return -1; // 没有释放img内存 // cvReleaseImage(&img); return 0; } 在main函数退出的时候mem会被析构, 然后输出内存的泄漏情况. 下面是在我的电脑上测试的结果: 代码:  全选 C:\work\vs2005\MemTracker\debug>MemTracker.exe 0: 00C750C0, 112 1: 00D90040, 786432 OK, 先说到这里吧, 下次再补充... 最后由  chai2010编辑于 2008-04-07 12:35，总共编辑了 1 次 http://code.google.com/p/opencv-extension-library/ chai2010 OpenCV博士 帖子: 696 注册: 2007-08-08 17:11 地址:深圳 网站 页首 Re: OpenCV中的内存泄漏检测 由 bebekifis» 2008-04-07 11:49 这个非顶不可啊 Contact me: email:  ynyu@nlpr.ia.ac.cn Homepage:www.cbsr.ia.ac.cn/users/ynyu bebekifis OpenCV教授 帖子: 1140 注册: 2007-03-03 20:50 地址:辐射场 网站 页首 Re: OpenCV中的内存泄漏检测 由 Shiqi Yu» 2008-04-07 12:36 bebekifis 写道:这个非顶不可啊 同意你的观点 1. 发帖时请详细描述您遇到的问题，不要仅仅用“出错”，“有问题”，“不行”等没有信息含量的描述。 2. 标题中扼要描述你的问题，不要用“新手请教”之类没有信息含量的标题。 3. 不要“哭求”，“跪求”，男儿有泪不轻弹，男儿膝下有黄金。 4. 技术问题请发在板面，不要给我发送私人短信，其他问题欢迎给我发信。 Shiqi Yu 站点管理员 帖子: 2067 注册: 2006-09-27 17:58 地址:蛇口 网站 页首 Re: OpenCV中的内存泄漏检测 由 chai2010» 2008-04-07 12:51 前面我们已经解决了内存泄漏的检测, 但是在出现内存泄漏的时候我们怎么才能 跟踪到出现内存泄漏的代码呢? 如果能够调试到没有被释放内存对应的cvAlloc函数就好了. 这个我们可以通过m_memTracker[i].ptr来比较内存的地址来检测, 例如在alloc_func中 添加以下代码, 然后设置断点: 代码:  全选 // 检测00C750C0内存 if(ptr == (void*)00C750C0) { // 设置断点 } 但是这个方法可能还有缺陷. 因为每次运行程序的时候, 内存的布局可能是有区别的. 最好的方法是把cvAlloc的调用顺序记录下来. 变动的部分代码: 代码:  全选 class MemTracker { struct Ptr {    void *ptr;    // 内存地址    size_t size; // 内存大小    int id;    Ptr(void *ptr, size_t size, int id)    {       this->ptr = ptr;       this->size = size;       this->id = id;    } }; // 记录当前使用中的内存 std::vector<Ptr> m_memTracker; // alloc_func对应的编号 int             m_id; }; MemTracker::MemTracker(void) { m_id = 0; // 注册管理函数 cvSetMemoryManager(alloc_func, free_func, (void*)this); } void MemTracker::regAlloc(void *ptr, size_t size) { // 每次记录一个新的m_id m_memTracker.push_back(Ptr(ptr, size, m_id++)); } // 输出泄漏的内存 int MemTracker::output(FILE* fp) { int n = m_memTracker.size(); int i; for(i = 0; i < n; ++i) {    fprintf(fp, "%d: %p, %u\n", m_memTracker[i].id, m_memTracker[i].ptr, m_memTracker[i].size); } return n; } 以后就可以根据m_memTracker[i].id来设置断点跟踪调试. 因为每次运行程序的时候, cvAlloc的调用次序是不变 的, 因此可以认为每次cvAlloc对应的id也是不变的. 这样就可以根据id来追踪出现内存泄漏的cvAlloc了. 对于"OpenCV扩展库", 可以将MemTracker直接集成到CvxApplication中, 这样就可以默认进行内存泄漏检测了. 内存检测先说到这里, 下一节我会简要分析一下OpenCV的cvAlloc等源代码  最后由  chai2010编辑于 2008-05-06 15:53，总共编辑了 1 次 http://code.google.com/p/opencv-extension-library/ chai2010 OpenCV博士 帖子: 696 注册: 2007-08-08 17:11 地址:深圳 网站 页首 Re: OpenCV中的内存泄漏检测 由 chai2010» 2008-04-07 13:23 前面的帖子中我们已经讨论了cvAlloc/cvFree_/cvSetMemoryManager等函数的使用技巧. 下面开始分析OpenCV中以上函数的实现代码. 我觉得如果在阅读代码之前, 如果能对函数的 用法有个基本的认识, 那么对于分析源代码是很有帮助的. 代码:  全选 CV_IMPL void* cvAlloc( size_t size ) { void* ptr = 0; CV_FUNCNAME( "cvAlloc" ); __BEGIN__; if( (size_t)size > CV_MAX_ALLOC_SIZE ) CV_ERROR( CV_StsOutOfRange, "Negative or too large argument of cvAlloc function" ); ptr = p_cvAlloc( size, p_cvAllocUserData ); if( !ptr ) CV_ERROR( CV_StsNoMem, "Out of memory" ); __END__; return ptr; } 从代码我们可以直观的看出, cvAlloc分配的内存不得大于CV_MAX_ALLOC_SIZE, 即使是使用我们 自己的内存管理函数也会有这个限制. 然后通过p_cvAlloc对应的函数指针对应的函数来分配内存. p_cvAlloc是一个全局static变量, 对应的 还有p_cvFree和p_cvAllocUserData, 分别对应释放内存函数和用户数据. 它们的定义如下: 代码:  全选 // pointers to allocation functions, initially set to default static CvAllocFunc p_cvAlloc = icvDefaultAlloc; static CvFreeFunc p_cvFree = icvDefaultFree; static void* p_cvAllocUserData = 0; 默认的内存管理函数分别为icvDefaultAlloc和icvDefaultFree(icv开头的表示为内部函数), 用户数据指针为空. 继续跟踪默认的内存分配函数icvDefaultAlloc, 代码如下: 代码:  全选 static void* icvDefaultAlloc( size_t size, void* ) { char *ptr, *ptr0 = (char*)malloc( (size_t)(size + CV_MALLOC_ALIGN*((size >= 4096) + 1) + sizeof(char*))); if( !ptr0 ) return 0; // align the pointer ptr = (char*)cvAlignPtr(ptr0 + sizeof(char*) + 1, CV_MALLOC_ALIGN); *(char**)(ptr - sizeof(char*)) = ptr0; return ptr; } 内部使用的是C语言中的malloc函数, 在分配的时候多申请了CV_MALLOC_ALIGN*((size >= 4096) + 1) + sizeof(char*) 大小的空间. 多申请空间的用处暂时先不分析. 下面的cvAlignPtr函数用于将指针对其到CV_MALLOC_ALIGN边界, 对于我们常规的PC来说是32bit, 也就是4字节. cvAlignPtr函数在后面会详细讨论. 下面语句将ptr0记录到(ptr - sizeof(char*)), 可以把它看作一个指针. 最后返回ptr. 细心的朋友可能会发现, 前面malloc分配的是ptr0, 现在返回的却是ptr, 这个是为什么呢? 这个的原因还是先放下(我也不懂), 但是返回ptr而不返回ptr0带来的影响至少有2个: 1. 返回的ptr指针不能通过C语言的free函数释放(这也是cvAlloc/cvFree必须配对使用的原因). 2. 在cvFree的时候, 可以根据(ptr - sizeof(char*))对应的值来检测该内存是不是由icvDefaultAlloc申请. 这样应该说可以增加程序的健壮性, icvDefaultFree可以不傻瓜似的对于任何指针都进行释放. 下面来看看cvAlignPtr函数: 代码:  全选 CV_INLINE void* cvAlignPtr( const void* ptr, int align=32 ) { assert( (align & (align-1)) == 0 ); return (void*)( ((size_t)ptr + align - 1) & ~(size_t)(align-1) ); } 该函数的目的主要是将指针ptr调整到align的整数倍 其中align必须为2的幂, assert语言用于该检测. 语句(align & (align-1)) 一般用于将align的最低的为1的bit位设置为0. 如果为2的幂那么就只有1个为1 的bit位, 因此语句(x&(x-1) == 0)可以完成该检测. return语句简化后为 (ptr+align-1)&~(align-1), 等价于((ptr+align-1)/align)*align. 就是找到不小于ptr, 且为align整数倍的最小整数, 这里对应为将指针对其到4字节(32bit). cvFree_函数和cvAlloc类似, 就不详细分析了: 代码:  全选 CV_IMPL void cvFree_( void* ptr ) { CV_FUNCNAME( "cvFree_" ); __BEGIN__; if( ptr ) { CVStatus status = p_cvFree( ptr, p_cvAllocUserData ); if( status < 0 ) CV_ERROR( status, "Deallocation error" ); } __END__; } p_cvFree默认值为icvDefaultFree: 代码:  全选 static int icvDefaultFree( void* ptr, void* ) { // Pointer must be aligned by CV_MALLOC_ALIGN if( ((size_t)ptr & (CV_MALLOC_ALIGN-1)) != 0 ) return CV_BADARG_ERR; free( *((char**)ptr - 1) ); return CV_OK; } 最后我们简要看下cvSetMemoryManager函数, 它主要用来设置用户自己定义的内存管理函数: 代码:  全选 CV_IMPL void cvSetMemoryManager( CvAllocFunc alloc_func, CvFreeFunc free_func, void* userdata ) { CV_FUNCNAME( "cvSetMemoryManager" ); __BEGIN__; // 必须配套出现 if( (alloc_func == 0) ^ (free_func == 0) ) CV_ERROR( CV_StsNullPtr, "Either both pointers should be NULL or none of them"); p_cvAlloc = alloc_func ? alloc_func : icvDefaultAlloc; p_cvFree = free_func ? free_func : icvDefaultFree; p_cvAllocUserData = userdata; __END__; } 如果函数指针不为空, 则记录到p_cvAlloc和p_cvFree指针, 如果为空则恢复到默认的内存管理函数. 需要注意的是if语句的条件(alloc_func == 0) ^ (free_func == 0), 只有当2个函数1个为NULL, 1个 不为NULL的时候才会出现, 出现这个的原因是内存管理函数的分配和释放函数不匹配了, 这个是不允许的. 因此, 我们需要设置自己的内存管理函数, 就需要同时指定alloc_func和free_func函数, 清空的时候 则把2个参数都设置NULL就可以了.

 

 

 

分享：