google-perftools工具定位内存泄漏

本文详细描述了如何在Centos7环境中安装GooglePerftools,包括unwind库的安装,以及如何使用pprof进行内存泄漏检测,设置了heap记录文件的参数,并展示了如何分析内存占用情况和检测特定时间点的内存未释放量。
摘要由CSDN通过智能技术生成

google-perftools工具

Centos7安装

[root@locahost]# cat /etc/centos-release
CentOS Linux release 7.4.1708

#安装unwind
[root@locahost]# wget http://download.savannah.gnu.org/releases/libunwind/libunwind-0.99.tar.gz
[root@locahost]# tar -zxvf libunwind-0.99.tar.gz
[root@locahost]# cd libunwind-0.99
[root@locahost]# ./configure
[root@locahost]# make 
[root@locahost]# make install

#卸载系统自带的gperftools-libs
[root@locahost]# rpm -ivh gperftools-libs-2.6.1-1.el7.x86_64.rpm
Preparing...     ######################[100%]
	file /usr/lib64/libprofiler.so.0 from install of gperftools-libs-2.6.1-1.el7.x86_64 conflicts with from gperftools-libs-2.4.8-1.el7.x86_64
	file /usr/lib64/libtcmalloc.so.4 from install of gperftools-libs-2.6.1-1.el7.x86_64 conflicts with from gperftools-libs-2.4.8-1.el7.x86_64
	file /usr/lib64/libtcmalloc_and_profiler from install of gperftools-libs-2.6.1-1.el7.x86_64 conflicts with from gperftools-libs-2.4.8-1.el7.x86_64
	file /usr/lib64/libtcmalloc_debug.so.4 from install of gperftools-libs-2.6.1-1.el7.x86_64 conflicts with from gperftools-libs-2.4.8-1.el7.x86_64
	file /usr/lib64/libtcmalloc_minimal.so.4 from install of gperftools-libs-2.6.1-1.el7.x86_64 conflicts with from gperftools-libs-2.4.8-1.el7.x86_64
	file /usr/lib64/libtcmalloc_minimal_debug.so.4 from install of gperftools-libs-2.6.1-1.el7.x86_64 conflicts with from gperftools-libs-2.4.8-1.el7.x86_64

[root@locahost]# rpm -e --nodeps gperftools-libs-2.4.8-1.el7.x86_64

#安装系统自带的gperftools-libs	
[root@locahost]# rpm -ivh gperftools-libs-2.6.1-1.el7.x86_64.rpm
[root@locahost]# rpm -ivh gperftools-devel-2.6.1-1.el7.x86_64.rpm


#安装pprof工具
[root@locahost]# rpm -ivh 	libXaw-1.0.13-4.el7.x86_64.rpm
[root@locahost]# rpm -ivh 	graphviz-2.30.1-22.el7.x86_64.rpm
[root@locahost]# rpm -ivh 	pprof-2.6.1-1.el7.noarch.rpm

内存泄漏检测

设置生成heap记录文件条件

root@M800:/home/banting/USB-Device-Mgr/USB-Device-Mgr/bin# export HEAP_PROFILE_TIME_INTERVAL=3
root@M800:/home/banting/USB-Device-Mgr/USB-Device-Mgr/bin# export HEAP_PROFILE_ALLOCATION_INTERVA=104857600
root@M800:/home/banting/USB-Device-Mgr/USB-Device-Mgr/bin# export HEAP_PROFILE_INUSE_INTERVAL=1048576
root@M800:/home/banting/USB-Device-Mgr/USB-Device-Mgr/bin# export HEAPPROFILE=/home/banting/USB-Device-Mgr/USB-Device-Mgr/heap/mybin.hprof

运行程序

root@M800:/home/banting/USB-Device-Mgr/USB-Device-Mgr/bin# export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:../lib_debug/libunwind:../lib_debug/libgerftool:../lib:/usr/local/lib
root@M800:/home/banting/USB-Device-Mgr/USB-Device-Mgr/bin# ./USB-Device-Mgr
[banting@M800 heap]$ ls -tlr
总用量 10888
-rw-r--r-- 1 root root   9390  423 14:21 mybin.hprof.0001.heap
......
-rw-r--r-- 1 root root 158987  423 14:28 mybin.hprof.0083.heap

比较heap记录文件差异

[banting@M800 heap]$ ls -tlr
总用量 10888
-rw-r--r-- 1 root root   9390  423 14:21 mybin.hprof.0001.heap
......
-rw-r--r-- 1 root root 158987  423 14:28 mybin.hprof.0083.heap

[banting@M800 heap]$ pprof --base=mybin.hprof.0001.heap ../bin/USB-Device-Mgr mybin.hprof.0083.heap  --show_bytes --lines --heapcheck
Using local file ../bin/USB-Device-Mgr.
Using local file mybin.hprof.0083.heap.
/usr/bin/addr2line: DWARF error: section .debug_info is larger than its filesize! (0xa96d5 vs 0x90be8)
/usr/bin/addr2line: DWARF error: section .debug_info is larger than its filesize! (0x5d4f30 vs 0x4369b8)
Welcome to pprof!  For help, type 'help'.
(pprof) top
Total: 894140 B
  525312  58.8%  58.8%   526896  58.9% xtcp_socket::xtcp_socket /home/banting/USB-Device-Mgr/xbasicasio.hpp:123
  123168  13.8%  72.5%   123456  13.8% mgr_network::on_tcp_svr_msg /home/banting/USB-Device-Mgr/mgr_network.cpp:55
   82112   9.2%  81.7%    82304   9.2% mgr_serial::add_device_serial /home/banting/USB-Device-Mgr/serials/mgr_serial.cpp:267
   41984   4.7%  86.4%    41984   4.7% scandirat64@@GLIBC_2.15 ??:0
   32816   3.7%  90.1%    32816   3.7% opendir@@GLIBC_2.2.5 ??:0
   18608   2.1%  92.2%    18608   2.1% boost::detail::heap_new /usr/local/include/boost/thread/pthread/thread_heap_alloc.hpp:24
   13104   1.5%  93.6%    13104   1.5% _dl_allocate_tls@@GLIBC_PRIVATE ??:0
   13072   1.5%  95.1%   539968  60.4% xtcp_server::create_client /home/banting/USB-Device-Mgr/xbasicasio.hpp:616
   10240   1.1%  96.2%    10240   1.1% _IO_file_doallocate@@GLIBC_2.2.5 ??:0
    5628   0.6%  96.9%     5628   0.6% boost::asio::detail::thread_info_base::allocate /usr/local/include/boost/asio/detail/thread_info_base.hpp:60
(pprof) quit
[banting@M800 heap]$

查找某个时间节点heap记录文件中内存未释放量

root@M800:/home/banting/USB-Device-Mgr/USB-Device-Mgr/heap# pprof --text ../bin/USB-Device-Mgr mybin.hprof.0009.heap  --show_bytes --lines --heapcheck
Using local file ../bin/USB-Device-Mgr.
Using local file mybin.hprof.0009.heap.
/usr/bin/addr2line: DWARF error: section .debug_info is larger than its filesize! (0xa96d5 vs 0x90be8)
/usr/bin/addr2line: DWARF error: section .debug_info is larger than its filesize! (0x5d4f30 vs 0x4369b8)
Total: 716892 B
  525312  73.3%  73.3%   526896  73.5% xtcp_socket::xtcp_socket /home/banting/USB-Device-Mgr/xbasicasio.hpp:142
   82112  11.5%  84.7%    82304  11.5% mgr_serial::add_device_serial /home/banting/USB-Device-Mgr/serials/mgr_serial.cpp:267
   32816   4.6%  89.3%    32816   4.6% opendir@@GLIBC_2.2.5 ??:0
   18608   2.6%  91.9%    18608   2.6% boost::detail::heap_new /usr/local/include/boost/thread/pthread/thread_heap_alloc.hpp:24
   13104   1.8%  93.7%    13104   1.8% _dl_allocate_tls@@GLIBC_PRIVATE ??:0
   11008   1.5%  95.3%   537904  75.0% xtcp_server::create_client /home/banting/USB-Device-Mgr/xbasicasio.hpp:652
    6144   0.9%  96.1%     6144   0.9% _IO_file_doallocate@@GLIBC_2.2.5 ??:0
    5509   0.8%  96.9%     5509   0.8% boost::asio::detail::thread_info_base::allocate /usr/local/include/boost/asio/detail/thread_info_base.hpp:60
    4552   0.6%  97.5%     6432   0.9% xmgr_basic::get_instance /home/banting/USB-Device-Mgr/xbasicmgr.hpp:126
    3408   0.5%  98.0%     3408   0.5% __gnu_cxx::new_allocator::allocate /usr/include/c++/4.8.2/ext/new_allocator.h:105
    2080   0.3%  98.3%     2080   0.3% on_exit@@GLIBC_2.2.5 ??:0
    1859   0.3%  98.6%     1859   0.3% std::string::_Rep::_S_create@@GLIBCXX_3.4 ??:0

参考文献:

google-perftools安装 - 简书 (jianshu.com)

高阶干货|如何用gperftools分析深度学习框架的内存泄漏问题 - 码农教程 (manongjc.com)

How to install google-perftools ubuntu package on Ubuntu 20.04/Ubuntu 18.04/Ubuntu 19.04/Ubuntu 16.04 (zoomadmin.com)

Google Performance Tools安装以及使用 - 知乎 (zhihu.com)

使用google-perftools优化nginx在高并发时的性能的教程(完整版)_nginx_脚本之家 (jb51.net)

google-perftools安装方法-datao0907-ChinaUnix博客

google-perf-tools 试用 - 吴镝 - 博客园 (cnblogs.com)

性能测试工具Google perftools(简称gperftool)配置及使用_google perftools使用-CSDN博客

使用google-perftools优化nginx在高并发时的性能的教程(完整版) – 苏demo的别样人生_ (libaocai.com)

google-perftools package : Ubuntu (launchpad.net)

Google Performance Tools (sourceforge.net)

gperftool 检测内存泄漏_heap_profile_time_interval-CSDN博客

使用 gperftools 分析程序内存占用情况_gperftools内存分析-CSDN博客

【gperftools】2——heap profiler - 简书 (jianshu.com)

性能测试工具gperftools使用-内存占用分析 - 流了个火 - 博客园 (cnblogs.com)

Gperftools Heap Profiler

Google Heap Profiler (sourceforge.net)

内存泄漏分析的利器——gperftools的Heap Checker-CSDN博客

使用gperftools对程序进行性能分析_51CTO博客_gperftools内存分析
tcmalloc原理剖析(基于gperftools-2.1) - 小龙的博客 | XiaoLong’s Blog (gao-xiao-long.github.io)

GitHub - gperftools/gperftools: Main gperftools repository

GitHub - google/pprof: pprof is a tool for visualization and analysis of profiling data

Index of /releases/libunwind/ (gnu.org)

RPM resource gperftool (rpmfind.net)

RPM resource pprof (rpmfind.net)

RPM resource libXaw (rpmfind.net)

RPM resource graphviz (rpmfind.net)

  • 24
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
google-perftools 简介 google-perftools 是一款针对 C/C++ 程序的性能分析工具,它是一个遵守 BSD 协议的开源项目。使用该工具可以对 CPU 时间片、内存等系统资源的分配和使用进行分析,本文将重点介绍如何进行 CPU 时间片的剖析。 google-perftools 对一个程序的 CPU 性能剖析包括以下几个步骤。 1. 编译目标程序,加入对 google-perftools 库的依赖。 2. 运行目标程序,并用某种方式启动 / 终止剖析函数并产生剖析结果。 3. 运行剖结果转换工具,将不可读的结果数据转化成某种格式的文档(例如 pdf,txt,gv 等)。 安装 您可以在 google-perftools 的网站 (http://code.google.com/p/google-perftools/downloads/list) 上下载最新版的安装包。为完成步骤 3 的工作,您还需要一个将剖析结果转化为程序员可读文档的工具,例如 gv(http://www.gnu.org/software/gv/)。 编译与运行 您需要在原有的编译选项中加入对 libprofiler.so 的引用,这样在目标程序运行时会加载工具的动态库。例如本例中作者的系统中,libprofiler.so 安装在"/usr/lib"目录下,所以需要在 makefile 文件中的编译选项加入“-L/usr/lib -lprofiler”。 google-perftools 需要在目标代码的开始和结尾点分别调用剖析模块的启动和终止函数,这样在目标程序运行时就可以对这段时间内程序实际占用的 CPU 时间片进行统计和分析。工具的启动和终止可以采用以下两种方式。 a. 使用调试工具 gdb 在程序中手动运行性能工具的启动 / 终止函数。 gdb 是 Linux 上广泛使用的调试工具,它提供了强大的命令行功能,使我们可以在程序运行时插入断点并在断点处执行其他函数。具体的文档请参照 http://www.gnu.org/software/gdb/,本文中将只对用到的几个基本功能进行简单介绍。使用以下几个功能就可以满足我们性能调试的基本需求,具体使用请参见下文示例。 命令 功能 ctrl+c 暂停程序的运行 c 继续程序的运行 b 添加函数断点(参数可以是源代码中的行号或者一个函数名) p 打印某个量的值或者执行一个函数调用 b. 在目标代码中直接加入性能工具函数的调用,该方法就是在程序代码中直接加入调试函数的调用。 两种方式都需要对目标程序重新编译,加入对性能工具的库依赖。对于前者,他的好处是使用比较灵活,但工具的启动和终止依赖于程序员的手动操作,常常需要一些暂停函数(比如休眠 sleep)的支持才能达到控制程序的目的,因此精度可能受到影响。对于后者,它需要对目标代码的进行修改,需要处理函数声明等问题,但得到的结果精度较高,缺点是每次重新设置启动点都需要重新编译,灵活度不高,读者可以根据自己的实际需求采用有效的方式。 示例详解 该程序是一个简单的例子,文中有两处耗时的无用操作,并且二者间有一定的调用关系。 清单 1. 示例程序 void consumeSomeCPUTime1(int input){ int i = 0; input++; while(i++ < 10000){ i--; i++; i--; i++; } }; void consumeSomeCPUTime2(int input){ input++; consumeSomeCPUTime1(input); int i = 0; while(i++ < 10000){ i--; i++; i--; i++; } }; int stupidComputing(int a, int b){ int i = 0; while( i++ < 10000){ consumeSomeCPUTime1(i); } int j = 0; while(j++ < 5000){ consumeSomeCPUTime2(j); } return a+b; }; int smartComputing(int a, int b){ return a+b; }; void main(){ int i = 0; printf("reached the start point of performance bottle neck\n"); sleep(5); //ProfilerStart("CPUProfile"); while( i++ MyProfile.pdf 转换后产生的结果文档如下图。图中的数字和框体的大小代表了的某个函数的运行时间占整个剖析时间的比例。由代码的逻辑可知,stupidComputing,stupidComputing2 都是费时操作并且它们和 consumeSomeCPUTime 存在着一定的调用关系。 图 1. 剖析结果 结束语 本文介绍了一个 Linux 平台上的性能剖析工具 google-perftools,并结合实例向读者展示了如何使用该工具配置、使用及分析性能瓶颈。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值