解决Solaris应用程序开发内存泄漏问题 (2)

原创 2006年06月08日 21:38:00
作者:李凌云, 张一峰(laoeyu)

DTrace

DTrace是一个动态监测工具,它是在Solaris 10系统中Sun公司推出 的一个全新工具。DTrace这个工具是一个内嵌在Solaris系统中的子系统,也就是说我们可以在生产 环境下直接使用。它带有30000多个监测点 Probe)。通过这些监测点,可以动态的搜集操作系统 和应用程序的运行的方式和状态,帮助我们迅速找到问题的关键原因。如果这些检测点没有打开,是绝 对不会给系统带来任何开销,并且即使打开监测点,系统开销也是微乎其微的。DTrace不 仅能够起到监测的作用,而且可以动态修改系统和程序的行为。所有 这些都有相应的安全考虑,只有具有指定权限(Privilege)才可以使用相应的功能。


DTrace也可以帮助我们解决Memory Leak问题。下面给出一个内存泄漏的例子,看一下如何通过DTrace找到这个Memory Leak。如果大家对DTrace不 熟悉的话,可以参考一篇DTrace入门的文章:http://blog.gceclub.sun.com.cn/index.php?op=ViewArticle&articleId=516&blogId=4

#include <iostream.h>
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
class TestClass
{
public:
TestClass() {
    cout << "no-argument" <<endl;
}

TestClass(const char *name) {
    cout << "arg = " << name << endl;
}
};

int main(int argc, char **argv)
{
    TestClass *t;
    TestClass *tt;
    while (1) {
        t = new TestClass();
        t = new TestClass("Hello.");
        tt = new TestClass("Goodbye.");
        delete(t);
        delete(tt);
        sleep(1);
    }
}

我们看到这段代码定义了一个TestClass类, 这个类含有两个构造函数,一个构造函数无参数,另一个构造函数带有一个const char *类型的字符串参数。这段代码的main函数有 一个while无限循环,在这个循环中,程序创建(new)三个对象,但只释放(delete)了两个对 象,造成内存泄漏。

这段程序虽然使用newdelete操作符,但我们知道最后还是使用libc库中的mallocfree两个函数实现内存分配和释放的。对于用户进程,DTrace提供了 特别的Provider,叫做pid Provider进行探测pid Provider提供的监测点可以通过function函 数名制定,比如malloc函数,它的入口监测点是pid$1:libc:malloc:entry,它的返回监测点是pid$1:libc:malloc:return, 其中pid表示pid Provider,$1表示所要监测的进程号,它的值来自命令行第一个参数。除了malloc函数外,realloccalloc函数也可以分配内存。为此,我们准备了一段检 测Memory Leak的脚本trace.d

#!/usr/sbin/dtrace -s

pid$1:libc:malloc:entry
{
    self->trace = 1;
    self->size = arg0;
}
pid$1:libc:malloc:return
/self->trace == 1/
{
    printf("Ptr=0x%p Size=%d", arg1, self->size);
    ustack();
    self->trace = 0;
    self->size = 0;
}

pid$1:libc:realloc:entry
{
    self->trace = 1;
    self->size = arg1;
    self->oldptr = arg0;
}
pid$1:libc:realloc:return
/self->trace == 1/
{
    printf("Ptr=0x%p Oldptr=0x%p Size=%d", arg1, self->oldptr, self->size);
    ustack();
    self->trace = 0;
    self->size = 0;
}

pid$1:libc:calloc:entry
{
    self->trace = 1;
    self->size = arg1;
}
pid$1:libc:calloc:return
/self->trace == 1/
{
    printf("Ptr=0x%p Size=%d", arg1, self->size);
    ustack();
    self->trace = 0;
    self->size = 0;
}

pid$1:libc:free:entry
{
    printf("Ptr=0x%p ", arg0);
}

当 进程调用malloc函数且刚进入malloc函数时,pid$1:libc:malloc:entry入口监测点就被触发,其中DTrace内建变量 arg0存放了malloc函数的第一个参数,即所要申请的内存字节数。它被保存在一个线程级的self->size变量中,供后面引用。pid$1:libc:malloc:return检测 点会在malloc函数返回时被触发,DTrace会执行printf函数和ustack 函数。printf函数将打印出arg1以及self->size。其中,arg1也DTrace内建变量,pid$1:libc: malloc:return返回监测点的arg1表示malloc函数的返 回值,即所分配的内存起始地址,而先前保留在self->size变量中内存字节数将一起被打印。ustack函数会打印出用户堆栈。与此类似,脚本对realloc函数和calloc函数的调用进入和返回都设置了监测点。在脚本最后是针对free函数的监测点,pid$1:libc: free:entry会在free函数调 用入口时触发,执行printf函数,printf函数会打印出被释放的内存地址arg0也就是先前通过malloc、realloc和calloc函数所分配的内存地址。

我们执行前面编译出来的C++程序,同 时用DTrace执行trace.d脚本,并指定待检测的进程的进程号(Process ID)。

# dtrace -s ./trace.d `pgrep a.out`

CPU ID FUNCTION:NAME
0 46868 malloc:return Ptr=0x28fd0 Size=8
libc.so.1`malloc+0x6c
libCrun.so.1`__1c2n6FI_pv_+0x28
a.out`main+0xc
a.out`_start+0x108

0 46868 malloc:return Ptr=0x28fc0 Size=7
libc.so.1`malloc+0x6c
libc.so.1`strdup+0xc
a.out`__1cJTestClass2t5B6M_v_+0x1c
a.out`main+0x1c
a.out`_start+0x108

0 46868 malloc:return Ptr=0x28f50 Size=8
libc.so.1`malloc+0x6c
libCrun.so.1`__1c2n6FI_pv_+0x28
a.out`main+0x50
a.out`_start+0x108

0 46868 malloc:return Ptr=0x28fe0 Size=7
libc.so.1`malloc+0x6c
libc.so.1`strdup+0xc
a.out`__1cJTestClass2t5B6Mpkc_v_+0x14
a.out`main+0x68
a.out`_start+0x108

0 46868 malloc:return Ptr=0x28ff0 Size=8
libc.so.1`malloc+0x6c
libCrun.so.1`__1c2n6FI_pv_+0x28
a.out`main+0x9c
a.out`_start+0x108

0 46868 malloc:return Ptr=0x41458 Size=9
libc.so.1`malloc+0x6c
libc.so.1`strdup+0xc
a.out`__1cJTestClass2t5B6Mpkc_v_+0x14
a.out`main+0xb4
a.out`_start+0x108

0 46873 free:entry Ptr=0x28fe0
0 46873 free:entry Ptr=0x28f50
0 46873 free:entry Ptr=0x41458
0 46873 free:entry Ptr=0x28ff0
....
^C

由于测试C++程序是一段while循环,我们只需要看一段循环就可以了,所以在 一个循环输出后通过Ctrl+C中止DTrace的检测。通过这段输出信 息我们不难发现程序总共调用了6次malloc和4次free,通过比对mallocfree所涉及的内存地址Ptr,不难发现只有Ptr=0x28fd0以及Ptr=0x28fc0这两块内存没有调用free释放。ustack()提供的调用栈揭示内存泄漏发生在a.out`main+0xc和a.out`__1cJTestClass2t5B6M_v_+0x1c两处,这是函 数名与地址偏移量组成的调用栈信息。其中由于C++编译器的mangling特性,修改了一些函数名字,造成无法识别,我们可以通 过C++编译器提供的工具nm, gc++filt把这些名字demangle过来,也可以使用Sun Studio自带的工具dem进行翻译,比如:

# /opt/SUNWspro/bin/dem __1c2n6FI_pv_
__1c2n6FI_pv_ == void*operator new(unsigned)

# /opt/SUNWspro/bin/dem __1cJTestClass2t5B6M_v_
__1cJTestClass2t5B6M_v_ == TestClass::TestClass()

我们可以看到问题是出在调用new TestClass()那 个无参数的构造函数,于是我们就找到了哪部分代码导致的内存泄漏。

使用上述方法查找内存泄漏点时最令人头疼的事情莫过于人工匹配malloc和free涉及的内存地址。最好有个工具可以自动去除无内存泄漏的调用点,只留下内存泄漏的信息。以下的Perl脚本可以帮助我们自动匹配内存地址,只留下内存泄漏相关的信息。

# cat ./findleaks.pl
#!/usr/bin/perl

# findleaks.pl

use Data::Dumper;

my %hash = ();

while (<>) {
    if ((/malloc:return Ptr=([^ ]*) Size=(.*)/) ||
        (/calloc:return Ptr=([^ ]*) Size=(.*)/)) {
        $hash{$1} = { size => $2 };
        while (<>) {
            last if /^$/;
            $hash{$1}->{stack} .= $_;
        }
    }
    elsif (/free:entry Ptr=([^ ]*)/) {
        if (exists $hash{$1} and $hash{$1}) {
            $hash{$1} = '';
        }
    }
    elsif (/realloc:entry Ptr=([^ ]*) Oldptr=([^ ]*) Size=(.*)/) {
        if ($1 eq $2) {
            if (exists $hash{$1} and $hash{$1}) {
                $hash{$1} = { size => $3 };
                $hash{$1}->{stack} = '';
                while (<>) {
                    last if /^$/;
                    $hash{$1}->{stack} .= $_;
                }
            }
        } else {
            $hash{$1} = '';
            $hash{$2}= { size => $3 };
            $hash{$2}->{stack} = '';
            while (<>) {
                last if /^$/;
                $hash{$2}->{stack} .= $_;
            }
        }
    }
}

foreach my $key (keys %hash) {
    next if not $hash{$key}->{size};
    print "Ptr=$key Size=", $hash{$key}->{size}, "n";
    print $hash{$key}->{stack}, "n---------n";
}

使用方法是将trace.d的输出重定向到一个临时文件,然后将该临时文件作为findleaks.pl的输入。findleaks.pl的输出即为与内存相关的调用。注意findleaks.pl应置为可执行。执行结果如下:

# dtrace -s ./trace.d `pgrep a.out` > ./tmpfile
# ./findleaks.pl ./tmpfile
Ptr=0x29090 Size=8
libc.so.1`malloc+0x6c
libCrun.so.1`__1c2n6FI_pv_+0x28
CCtest`main+0xc
CCtest`_start+0x108
---------
Ptr=0x29060 Size=7
libc.so.1`malloc+0x6c
libc.so.1`strdup+0xc
CCtest`__1cJTestClass2t5B6M_v_+0x1c
CCtest`main+0x1c
CCtest`_start+0x108
---------
Ptr=0x29130 Size=8
libc.so.1`malloc+0x6c
libCrun.so.1`__1c2n6FI_pv_+0x28
CCtest`main+0xc
CCtest`_start+0x108
---------
Ptr=0x29000 Size=7
libc.so.1`malloc+0x6c
libc.so.1`strdup+0xc
CCtest`__1cJTestClass2t5B6M_v_+0x1c
CCtest`main+0x1c
CCtest`_start+0x108
---------
...

libgc

Solaris系统为C/C++语言提供了垃圾收集库:libgc,这个库会自动负责内存管理包括分配和释放。 虽然它不能够找到哪段代码导致内存泄 漏,但是可以帮助我们彻底解决内存泄漏问题。这个库包含在Sun Studio,支持X86SPARC。安装了Sun Studio后,库文件的位置在/opt/SUNWspro/lib/

libgc对内存的管理是通过自有的一个高效内存分配器 (Memory Allocator),对所有堆(Heap)中分 配内存都会打上标志,如果发现这些打上标志的内存没有被指针使用,它就会取消标志,并释放。libgc会 自动定期扫描,决定什么时候回收这些取消标志的内存。如果遇到没有内存可分配的情况,它也会执行回收动作。

libgc使用方式有两种:

  • Deployment Mode

功能:可以自动解决内存泄漏。由于使用自有的内存分配器, 避免了内存碎片,同时内存分配的操作也会更快。
使用方法非常简单,不需要修改代码,只需在link库文件 的时候指定链接libgc

  • Development Mode

功能:除了提供上面一种模式所有的功能外,还能够解决Premature Free的问题。

Premature Free是指当某块内存还在被别的指针使用或者引用的时候,提前释放某个指针指向的这块内存。这种Premature Free会导致程序崩溃。

如果需要解决这种问题我们可以使用Development Modelibgc,这 种使用方式需要修改代码。libgc库提供了三个函数用于处理Premature Free问题。

  • void gcFixPrematureFrees(void)

该函数会让free函数失效,free函数不会释放任何内存。内存的释放会全交给libgclibgc会自动判断,在这块内存没有别人使用或者引用 后,会自动释放。

  • void gcStopFixingPrematureFrees(void)

该函数会中止修复Premature free,是 gcFixPrematureFrees 的反操作。

  • void gcInitialize(void)

在程序启动时候,libgc库文件会自动调用gcInitialize函数。该函数通常是作为一个预 设接口,用来调用gcFixPrematureFrees 函数。

使用方法如下:

#include <gct.h>

void gcInitialize(void)
{
    gcFixPrematureFrees();
}

这三个函数的定义都在gct.h文件 中。

总结

以上介绍的是在Solaris下多种解决内存泄漏方法,每种方法都有自 己的优缺点,适用于不同的场合。我们把这几种方法作了一个比较,供大家参考:

特征

libumem

libgc

dbx

DTrace

需要修改代码

*

需要重新编译

*

Solaris版本要求

Solaris 9 u3以上()

Solaris 2.6以上()

Solaris 8以上()

Solaris 10

支持UltraSPARC

支持X86/X64

发现/解决内 存泄漏

发现内存泄漏

解决内存泄漏

发现内存泄漏

发现内存泄漏

可解决内存碎 片

是否可用于生 产环境

*

使用是否方便

参考资料

1. Identifying Memory Management Bugs Within Applications Using the libumem Library
2. Using DTrace to Profile and Debug A C++ Program
3. 使用dbx调试程序

4. Using the C/C++ Garbage Collection Library, libgc
5.
Solaris Dynamic Tracing Guide
6. Sanjeev Bagewadi's Weblog

解决Solaris应用程序开发内存泄漏问题

内存泄漏是应用软件开发过程中经常会遇到的问题,应用长期内存泄漏会占用大量操作系统内存资源,直接导致应用程序运行不稳定,严重时甚至还会影响到操作系统的正常运行。为了找到应用程序内存泄漏点,许多开发人员不...
  • undead
  • undead
  • 2011年05月26日 10:44
  • 668

应用程序内存泄漏确认与定位

1、如何确定内存泄露。     突然有一天tester对我们说com.android.browser在反复启动/退出时有内存泄露。那我们首先需要重现一下。     OPhone SDK提供了两种命...

OPhone/Android应用程序内存泄漏确认与定位

原文地址::http://www.j2megame.com/html/xwzx/ty/1103.html       1、如何确定内存泄露。     突然有一天tester对我们说com...

了解 JavaScript 应用程序中的内存泄漏

了解 JavaScript 应用程序中的内存泄漏 检测和解决内存问题 Ben Dolmar, 软件开发人员, The Nerdery 简介: 垃圾回收解放...

Android应用程序如何避免内存泄漏以及如何检查泄漏原因

Android 应用程序如何避免内存泄漏以 及如何检查泄漏原因     Android 的应用程序开发使用的 Java 语言。 Java 语言的 GC 机制使得在堆上分 配内...

Android应用程序开发以及背后的设计思想深度剖析(2)

原文地址:http://blog.csdn.net/21cnbao/article/details/7917652 特别声明:本系列文章LiAnLab.org著作权所有,转载请注明出处。作者系...

基于VTK的MFC应用程序开发(2)

现在基于VTK的MFC程序框架已经搭建起来。这一节我们来对上节的程序进行扩展,实现图像的重采样。重采样是图像处理中的一个常见功能,尤其是在医学图像处理中,一些三维图像数据量非常大,对于内存的要求比较高...

iphone应用程序开发指南(笔记2)

UIKit框架负责管理大部分关键的基础设施。UIApplication负责接收事件,响应事件则需要你的定制代码来处理。 委托是一种避免对复杂的UIKit对像,进行子类化的机制。(关乎设计模式) 触...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:解决Solaris应用程序开发内存泄漏问题 (2)
举报原因:
原因补充:

(最多只允许输入30个字)