【C/C++】Jemalloc + Jeprof内存泄漏分析

bandaoyu

已于 2024-04-25 23:39:15 修改

阅读量1.9k

点赞数 5

分类专栏： C/C++ 测试文章标签： c语言 c++ 开发语言

于 2024-04-10 01:16:26 首次发布

本文链接：https://blog.csdn.net/bandaoyu/article/details/137574343

版权

C/C++ 同时被 2 个专栏收录

206 篇文章 81 订阅

订阅专栏

测试

70 篇文章 18 订阅

订阅专栏

一, 前提

1 jemalloc lib 需要开启 profiling 功能

既编译 jemalloc的时候添加--enable-prof 选项 (同时会生成一个jeprof 工具,用来生成报告)

$ wget https://github.com/jemalloc/jemalloc/archive/5.2.1.tar.gz

$ tar xvf 5.2.1.tar.gz

$ cd jemalloc-5.2.1/

$ mkdir build; cd build

$ ../autogen.sh

$ ../configure --prefix=/path/to/build --enable-prof

$ make -j8

2 设置 jemalloc 环境变量

在执行应用程序之前，需要设置好用于 jemalloc heap profiling 的环境变量。

$ export MALLOC_CONF=prof_leak:true,lg_prof_sample:19,prof:true,prof_prefix:jeprof.out,prof_final:true,lg_prof_interval:29

参数说明:

prof: 是否开启profiling,true开启. 开启后，将会剖析程序的内存申请操作。而且只有开启，下面的参数才会生效。官方文档： http://jemalloc.net/jemalloc.3.html#opt.prof

prof_leak：是否开启profiling memory leak，默认是false，即disabled。

开启后，将会在调用atexit(3)函数时(程序结束时)生成memory leak报告。但是一般服务型程序是不会主动退出的，如果使用kill将进程退出是不起作用的，所以对于服务型守护进程，使用lg_prof_interval间隔性产出内存剖析报告。官方文档： http://jemalloc.net/jemalloc.3.html#opt.prof_leak

lg_prof_sample： size_t类型，分配样本之间的平均间隔，以分配活动的字节数衡量。增加采样间隔会降低配置文件的保真度，但也会降低计算开销。默认值是19，即默认的采样间隔是512 KiB (2^19 B)。这个参数不能设置太小，如果设置为0表明内存申请的采样精度是1字节，profiling机制也需要占用内存，设置为0程序可能很快就会OOM，而且极大影响程序性能。

上例中19表示采样精度是2^19 = 512KB

官方文档： http://jemalloc.net/jemalloc.3.html#opt.lg_prof_sample

prof_prefix：产出heap剖析报告文件的前缀。注意可以是路径，比如 /tmp/jeprof.out

官方文档： http://jemalloc.net/jemalloc.3.html#opt.prof_prefix

prof_final： bool类型。

官方文档： http://jemalloc.net/jemalloc.3.html#opt.prof_final

lg_prof_interval：内存剖析文件dump的平均间隔，以分配活动的字节数衡量。剖析文件落盘的文件名格式：...i.heap，其中是由opt.prof_prefix选项控制。默认情况下，区间触发的配置文件转储被禁用（编码为-1）

上例中29表示大约每隔申请2^29=512MB的内存时，dump一次剖析文件。

官方文档： http://jemalloc.net/jemalloc.3.html#opt.lg_prof_interval

二,运行应用程序

运行应用程序后，会在本地生成一些 heap profile 文件。

图形分析

首先安装绘图工具依赖：

yum install graphviz
yum install ghostscript

第二步将 heap 文件转换为 pdf 格式：

$ jeprof --show_bytes 应用程序路径 -pdf jeprof.out.9579.0.i0.heap > 0.pdf

或者比较两次dump的差异

$ jeprof --show_bytes 应用程序路径 -pdf --base jeprof.out.9579.0.i0.heap jeprof.out.8429.1.i1.heap > 0.pdf

命令行分析

(原文:https://docs.tibco.com/pub/activematrix_businessworks/6.6.1/doc/html/GUID-231E1EFC-EA7C-4072-B0F4-0D92093D3161.html)

(jeprof 是在第一步编译 jemalloc 时生成的 jeprof 工具，用来生成报告。该jeprof工具在jemalloc/bin文件夹。执行jeprof,jeprof控制台打开。)

执行命令直接进入控制台分析文件:

jeprof --show_bytes <PATH to 可执行文件> jeprof.*.heap #同时查看多个文件

jeprof --show_bytes <PATH to 可执行文件> <Heap file name> #查看单个文件

键入 top 当您到达 jeprof 控制台时。例如：

jeprof --show_bytes /usr/lib/jvm/java-8-oracle/jre/bin/java jeprof*.heap
Using local file /usr/bin/w.
Using local file jeprof.19678.0.f.heap.
Welcome to jeprof! For help, type 'help'.
(jeprof) top

它显示以下输出：

Total: 267184 B
258032 96.6% 96.6% 258032 96.6% _3_2_5
3616 1.4% 97.9% 3616 1.4% _nl_intern_locale_data
2048 0.8% 98.7% 2208 0.8% __tzfile_read
1024 0.4% 99.1% 1024 0.4% getpwnam
1024 0.4% 99.5% 1072 0.4% getpwuid
448 0.2% 99.6% 448 0.2% __gconv_lookup_cache
224 0.1% 99.9% 224 0.1% strdup
160 0.1% 99.9% 160 0.1% __tzstring
128 0.0% 100.0% 3760 1.4% _nl_load_locale_from_archive
48 0.0% 100.0% 48 0.0% get_mapping

要在分析完成并识别出泄漏嫌疑人后停止分析，请运行命令：