内存泄漏调试 ---- jemalloc的heap profiling

最新推荐文章于 2024-07-01 05:00:00 发布
最新推荐文章于 2024-07-01 05:00:00 发布
阅读量1.1k 收藏 24
点赞数 17
分类专栏： 高阶编程 文章标签： jemalloc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43778179/article/details/135977812
版权

使用jemalloc时，可以通过profiling机制来发现并定位内存泄漏(memory leak)。本文翻译自原文并增加了一些例子。

1、安装

这里我们编译安装jemalloc.5.10，注意在configure的时候添加了–enable-prof选项，这样才能打开profiling机制。下文中通过MALLOC_CONF设置的参数都依赖于次选项。

wget https://github.com/jemalloc/jemalloc/archive/5.1.0.tar.gz
tar zxvf 5.1.0.tar.gz
cd jemalloc-5.1.0/
./autogen.sh
./configure --prefix=/usr/local/jemalloc-5.1.0 --enable-prof
make
make install

2、程序退出时的内存分配状态

作为最简单的情形，我们可以在程序退出时，查看还有哪些分配但未释放的内存，它们通常是内存泄漏的重要线索。

#include <stdio.h>
#include <stdlib.h>

void do_something(size_t i)
{
  // Leak some memory.
  malloc(i * 1024);
}

void do_something_else(size_t i)
{
  // Leak some memory.
  malloc(i * 4096);
}

int main(int argc, char **argv)
{
  size_t i, sz;

  for (i = 0; i < 80; i++)
  {
    do_something(i);
  }

  for (i = 0; i < 40; i++)
  {
    do_something_else(i);
  }

  return (0);
}

然后编译。注意：我们的代码里没有include jemalloc的头文件，编译的时候也不需要链接jemalloc库。启动的时候通过LD_PRELOAD指定jemalloc库的路径就可以了。这是jemalloc方便使用的地方。当然也可以include jemalloc的头文件并链接jemalloc库来使用jemalloc的其他功能(见后文)。

gcc test.c -o a.out
2.1、标题程序退出时的泄漏
MALLOC_CONF=prof_leak:true,lg_prof_sample:0,prof_final:true LD_PRELOAD=/usr/local/jemalloc-5.1.0/lib/libjemalloc.so.2  ./a.out
<jemalloc>: Leak approximation summary: ~6926352 bytes, ~120 objects, >= 2 contexts
<jemalloc>: Run jeprof on "jeprof.34447.0.f.heap" for leak detail

程序退出时报告了泄漏的大概情况，多少自己，多少对象，并产生了一个”jeprof.34447.0.f.heap”文件，其中包含了详细信息。

2.2、泄漏的详细信息

使用jemalloc提供的jeprof工具，可以方便的查看”jeprof.34447.0.f.heap”文件：

/usr/local/jemalloc-5.1.0/bin/jeprof a.out jeprof.34447.0.f.heap
Using local file a.out.
Using local file jeprof.34447.0.f.heap.
Welcome to jeprof!  For help, type 'help'.
(jeprof) top
Total: 6.6 MB
     3.3  50.6%  50.6%      3.3  50.6% do_something
     3.3  49.4% 100.0%      3.3  49.4% do_something_else
     0.0   0.0% 100.0%      6.6 100.0% __libc_start_main
     0.0   0.0% 100.0%      6.6 100.0% _start
     0.0   0.0% 100.0%      6.6 100.0% main
(jeprof)
2.3、泄露代码的调用路径

jeprof工具也可以生成泄漏代码的调用路径图。

/usr/local/jemalloc-5.1.0/bin/jeprof  --show_bytes --pdf a.out jeprof.34447.0.f.heap > a.pdf

3、Heap Profiling

有时候，我们不能终止程序来看程序退出时的状态，jemalloc提供了一些方法来获取程序运行时的内存分配情况。

3.1、每1MB dump一次
export MALLOC_CONF="prof:true,lg_prof_interval:20"
LD_PRELOAD=/usr/local/jemalloc-5.1.0/lib/libjemalloc.so.2  ./a.out
ll
total 40
-rwxr-xr-x. 1 root root 8520 Jan  2 18:33 a.out
-rw-r--r--. 1 root root 3878 Jan  2 18:38 jeprof.34584.0.i0.heap
-rw-r--r--. 1 root root 3882 Jan  2 18:38 jeprof.34584.1.i1.heap
-rw-r--r--. 1 root root 3882 Jan  2 18:38 jeprof.34584.2.i2.heap
-rw-r--r--. 1 root root 4004 Jan  2 18:38 jeprof.34584.3.i3.heap
-rw-r--r--. 1 root root 4004 Jan  2 18:38 jeprof.34584.4.i4.heap
-rw-r--r--. 1 root root 4006 Jan  2 18:38 jeprof.34584.5.i5.heap

其中lg_prof_interval:20中的20表示1MB(2^20)，prof:true是打开profiling。运行程序时，每分配(大约)1MB就会dump产生一个文件。

/usr/local/jemalloc-5.1.0/bin/jeprof a.out jeprof.34584.3.i3.heap
Using local file a.out.
Using local file jeprof.34584.3.i3.heap.
Welcome to jeprof!  For help, type 'help'.
(jeprof) top
Total: 5.8 MB
     4.8  81.8%  81.8%      4.8  81.8% do_something
     1.1  18.2% 100.0%      1.1  18.2% do_something_else
     0.0   0.0% 100.0%      5.8 100.0% __libc_start_main
     0.0   0.0% 100.0%      5.8 100.0% _start
     0.0   0.0% 100.0%      5.8 100.0% main
(jeprof) quit

jeprof工具不仅可以查看详细信息或者生成调用路径图(如上所示)，还可以用来比较两个dump(显示增量部分)：

/usr/local/jemalloc-5.1.0/bin/jeprof a.out --base=jeprof.34584.2.i2.heap jeprof.34584.3.i3.heap
Using local file a.out.
Using local file jeprof.34584.3.i3.heap.
Welcome to jeprof!  For help, type 'help'.
(jeprof) top
Total: 1.6 MB
     1.1  66.2%  66.2%      1.1  66.2% do_something_else
     0.5  33.8% 100.0%      0.5  33.8% do_something
     0.0   0.0% 100.0%      1.6 100.0% __libc_start_main
     0.0   0.0% 100.0%      1.6 100.0% _start
     0.0   0.0% 100.0%      1.6 100.0% main
(jeprof)

其中--base指定比较的基础。如上例，dump jeprof.34584.3.i3.heap的时候，分配了5.8 MB内存，do_something和do_something_else分别占81.8%和18.2%；但和dump jeprof.34584.2.i2.heap的时候相比，多分配了1.6MB内存，do_something和do_something_else分别占66.2%和33.8%。可以预见，自己和自己比，没有内存被分配：

/usr/local/jemalloc-5.1.0/bin/jeprof a.out --base=jeprof.34584.2.i2.heap jeprof.34584.2.i2.heap
Using local file a.out.
Using local file jeprof.34584.2.i2.heap.
Welcome to jeprof!  For help, type 'help'.
(jeprof) top
Total: 0.0 MB
(jeprof)
3.2、每次达到新高时dump
export MALLOC_CONF="prof:true,prof_gdump:true"
LD_PRELOAD=/usr/local/jemalloc-5.1.0/lib/libjemalloc.so.2  ./a.out
3.3、在代码里手动dump

注意：需要include jemalloc的头文件并链接jemalloc库。

#include <stdio.h>
#include <stdlib.h>
#include <jemalloc/jemalloc.h>

void do_something(size_t i)
{
  // Leak some memory.
  malloc(i * 1024);
}

void do_something_else(size_t i)
{
  // Leak some memory.
  malloc(i * 4096);
}

int main(int argc, char **argv)
{
  size_t i, sz;

  for (i = 0; i < 80; i++)
  {
    do_something(i);
  }

  mallctl("prof.dump", NULL, NULL, NULL, 0);

  for (i = 0; i < 40; i++)
  {
    do_something_else(i);
  }

  mallctl("prof.dump", NULL, NULL, NULL, 0);

  return (0);
}

编译(指定jemalloc头文件路径，并链接jemalloc库)：

gcc -I/usr/local/jemalloc-5.1.0/include test.c -L/usr/local/jemalloc-5.1.0/lib -ljemalloc

然后设置MALLOC_CONF并执行程序：

export MALLOC_CONF="prof:true,prof_prefix:jeprof.out"
LD_PRELOAD=/usr/local/jemalloc-5.1.0/lib/libjemalloc.so.2  ./a.out
# ls
a.out  jeprof.out.35307.0.m0.heap  jeprof.out.35307.1.m1.heap
3.4、稳定状态的内存分配

注意：需要include jemalloc的头文件并链接jemalloc库。
程序启动的时候，势必要分配内存，我们查找内存泄漏的时候，往往更关注程序在稳定状态时的内存分配：只要程序启动完成之后内存不再增长，就没有严重的泄漏问题。所以，稳定状态的内存profiling往往更有意义。设置MALLOC_CONF=prof_active:false，使得程序在启动的时候profiling是disabled；程序启动完成后，再通过mallctl(“prof.active”)来enable profiling；或者定时enable。

3.4.1、启动完成后enable profiling
#include <stdio.h>
#include <stdlib.h>
#include <jemalloc/jemalloc.h>

void do_something(size_t i)
{
  // Leak some memory.
  malloc(i * 1024);
}

void do_something_else(size_t i)
{
  // Leak some memory.
  malloc(i * 4096);
}

int main(int argc, char **argv)
{
  size_t i, sz;

  //initialization ...

  for (i = 0; i < 80; i++)
  {
    do_something(i);
  }

  //enter into steady-state...

  bool active = true;
  mallctl("prof.active", NULL, NULL, &active, sizeof(bool));

  for (i = 0; i < 40; i++)
  {
    do_something_else(i);
  }

  mallctl("prof.dump", NULL, NULL, NULL, 0);

  return (0);
}

编译，设置环境变量，并执行：

gcc -I/usr/local/jemalloc-5.1.0/include test2.c -L/usr/local/jemalloc-5.1.0/lib -ljemalloc
export MALLOC_CONF="prof:true,prof_active:false,prof_prefix:jeprof.out"
LD_PRELOAD=/usr/local/jemalloc-5.1.0/lib/libjemalloc.so.2  ./a.out
# ls
a.out  jeprof.out.36842.0.m0.heap

用jeprof查看，发现只有steady-state之后的内存分配：

/usr/local/jemalloc-5.1.0/bin/jeprof a.out jeprof.out.36842.0.m0.heap
Using local file a.out.
Using local file jeprof.out.36842.0.m0.heap.
Welcome to jeprof!  For help, type 'help'.
(jeprof) top
Total: 2.8 MB
     2.8 100.0% 100.0%      2.8 100.0% do_something_else
     0.0   0.0% 100.0%      2.8 100.0% __libc_start_main
     0.0   0.0% 100.0%      2.8 100.0% _start
     0.0   0.0% 100.0%      2.8 100.0% main
(jeprof)
3.4.2、定时enable profiling

还可以通过这样的流程定时dump：

bool active;

mallctl("prof.dump", NULL, NULL, NULL, 0);    //生成prof.1

active = true;
mallctl("prof.active", NULL, NULL, &active, sizeof(bool));

//sleep 30 seconds

active = false;
mallctl("prof.active", NULL, NULL, &active, sizeof(bool));

//sleep 30 seconds

mallctl("prof.dump", NULL, NULL, NULL, 0);   //生成prof.2

然后通过jeprof a.out --base=prof.1 prof.2来比较这两个dump，这可以突显出稳定状态下程序的内存分配行为。

3.5、还可以生成pdf来看
# 导出为 pdf
/usr/local/jemalloc-5.1.0/bin/jeprof --pdf a.out  --base=jeprof.17988.0.i0.heap jeprof.17988.17.i17.heap   > a.pdf

参考：
利用Jemalloc进行内存泄漏的调试
jemalloc的heap profiling

大隐隐于野
关注
  • 17
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
dmalloc检测程序内存泄漏
学海无涯
03-02 4853
一、生成dmalloc静态库 1、从网上下载dmalloc源码 编译方法： ./configure --prefix=/home/xxx/program/dmalloc-5.5.2/out --enable-threads make make install 注：如果使用C++，那么 make threadscxx make install 2、把生成的bin和l
jemalloc疑似内存泄漏分析
左手倒影，右手年华
05-18 4043
最近项目中有使用到jemalloc作为内存分配器，但是使用后发现应用所占用的内存在不断飙高，而且无下降的趋势。经过阅读源码和进行实验逐步发现jemalloc隐藏的使用风险——脏页释放规则。 jemalloc简介 jemalloc是一款很优秀的内存分配器，按照他们wiki的说法，已经被Redis、Android等多个大型项目采用。从jemalloc在github上的提交记录，jemalloc已经由f...
C/C++ 配置 jemalloc 的一些选项，处理一些疑似内存泄漏的问题。
liulilittle的博客
04-09 858
并且每个线程都会单独管理 arena，每个 arena 都有一个 tick 引用计数，当引用计数不为0时，arena 不会自动释放，那么看上去似乎发生内存泄漏了，除非适用 arena 的线程退出。dirty_decay_ms、muzzy_decay_ms 两个值均设置为0，可以减少 jemalloc 对于持续内存的占用率，否则会易于产生疑似内存泄漏的一些现象，令人感到困惑。muzzy_decay_ms 两个值均被设置为0，这代表或许并不存在脏页释放延迟的问题，那么大家直接设置为0，就可以了。
使用 GDB 查看 Jemalloc 内存布局
大将军王虎剩的专栏
01-24 3905
学习中主要参考 @杏林小轩的 Jemalloc系列： jemalloc 3.6.0源码详解—[0]基础知识 jemalloc 3.6.0源码详解—[1]Arena jemalloc 3.6.0源码详解—[2]Chunk jemalloc 3.6.0源码详解—[3]Run and bins jemalloc 3.6.0源码详解—[4]Thread caches jemalloc 3.6...
jemalloc安装和使用
热门推荐
zhugl的博客
04-13 2万+
前言   jemalloc是一个内存分配器，最开始出现在FreeBSD上的libc中，FreeBSD最早使用phkmalloc，但它不是在多处理器系统且支持多线程的情况下设计的，为了解决多处理器系统和多线程应用程序的可扩展性瓶颈，由此诞生jemalloc，它是Jason Evans 2005年进行开发的，因此叫"je"。在2007年的时候为了改善Firefox在3.0版中的内存使用情况，使用jem...
九浅一深Jemalloc5.3.0 -- ①浅*编译调试
最新发布
老宅的虚拟空间
07-01 605
碎片时间来学习Jemalloc5.3.0喽！ 简单直接多图的系列文章《九浅一深Jemalloc5.3.0》助您慢慢high。
使用jemalloc检测内存泄露
线上幽灵
03-14 2696
/jemalloc-5.3.0/bin/jeprof --show_bytes --svg ${服务二进制名} ${heap文件名} > out.svg。由于要生成jeprof工具，所以要在autogen.sh文件中-configure后面-enable-prof参数。./autogen.sh 在这个文件里面加上-configure后面-enable-prof参数。生成的jeprof工具在jemalloc-5.3.0/bin/文件夹中。可以在编译的时候将-g换成-pg。如果生成svg时，报下面错误。
【C/C++】Jemalloc + Jeprof内存泄漏分析
bandaoyu的note
04-10 1285
需要include jemalloc的头文件并链接jemalloc库: gcc -I/usr/local/jemalloc-5.1.0/include main.c -L/usr/local/jemalloc-5.1.0/lib -ljemalloc。(原文:https://docs.tibco.com/pub/activematrix_businessworks/6.6.1/doc/html/GUID-231E1EFC-EA7C-4072-B0F4-0D92093D3161.html)
centos下使用jemalloc解决Mysql内存泄漏问题
eagle89的专栏
08-18 1908
jemalloc解决Mysql内存泄漏问题
jemalloc深入分析
01-28
1. bitmap查找算法的优化-32路查找 2. paring heap，配对堆的使用，提高排序效率 3. RB tree 红黑树 4. Tcache机制 5. 支持原子操作的线性同余伪随机数生成器 6. 动态头长度的计算过程map_bias 7. Region size设计以及和index对应关系 8. radix tree基数树 9. 高可靠性编程讨论 10. small/large/huge内存的分配和释放过程
jemalloc-4.4.0全面分析
02-08
4. **统计和调试工具**：jemalloc提供了丰富的统计和调试工具，如`malloc_stats`和`heap_prof`，这些工具可以帮助开发者监控内存使用情况，查找潜在的内存泄漏问题。4.4.0版本可能增强了这些工具的功能。 5. **性能...
api-ms-win-core-heap-l2-1-0.dll（32+64位都有）亲测可用
03-02
`HeapCreate`函数用于创建一个新的堆，`HeapAlloc`则在堆中分配指定大小的内存块，当不再需要这些内存时，`HeapFree`则用于释放内存，防止内存泄漏。 32位和64位版本的`api-ms-win-core-heap-l2-1-0.dll`分别对应于...
Linux内存管理（六十三）：ION 内存管理器-system heap
12-15
system heap refill
api-ms-win-core-heap-l2-1-0.dll
08-29
api-ms-win-core-heap-l2-1-0.dll
使用 jemalloc profile memory
fan_music的博客
06-05 2042
对于长时间运行的服务端程序，内存的使用一直是一个非常重要的监控指标，当内存的使用量一直在上升的时候，我们就需要警觉起来，因为很有可能整个系统出现了内存泄露。那么剩下的问题就比较简单了，如何动态的获知哪里有内存泄露呢？ 对 Go 的程序来说，我们可以使用语言内置的 pprof 工具非常方便的对内存进行 profile，我们只需要在程序里面 import _ "net/http/pprof"，这样启动的 HTTP server 服务器就能够被直接 profile 了。 但对 Rust，情况就没那么简单了。因
Linux内存管理（四）：Jemalloc
蓬莱道人的博客
07-04 1万+
1. Jemalloc简介 jemalloc 是由 Jason Evans 在 FreeBSD 项目中引入的新一代内存分配器。它是一个通用的 malloc 实现，侧重于减少内存碎片和提升高并发场景下内存的分配效率，其目标是能够替代 malloc。jemalloc 应用十分广泛，在 Firefox、Redis、Rust、Netty 等出名的产品或者编程语言中都有大量使用。具体细节可以参考 Jason Evans 发表的论文 《A Scalable Concurrent malloc Implemen...
heap-use-after-free
09-06
### 回答1： "heap-use-after-free" 是一种常见的内存错误，通常发生在程序试图在释放了一块内存后仍然引用该内存地址的情况下。 在使用堆分配的内存时，如果程序在释放内存后还引用该内存地址，就会导致 "heap-use-after-free" 错误。这可能会导致程序崩溃、数据损坏或安全漏洞。 为了避免 "heap-use-after-free" 错误，程序员应该确保在释放内存后不再使用该内存地址。可以通过将指向已释放内存的指针设置为 NULL 或使用内存分配器函数（如 malloc、calloc、realloc 等）来避免这种错误。另外，一些内存调试工具也可以检测这种错误并提供更多的信息来帮助程序员调试。 ### 回答2： heap-use-after-free是一种常见的堆相关漏洞，它在程序中利用了一个已经被释放的堆内存。当我们释放堆内存后，如果不小心继续使用已经释放的内存，就会导致heap-use-after-free漏洞。 当一个堆内存被释放后，它会返回给堆管理器，可以被重新分配给其他程序使用。然而，如果我们在释放内存后，仍然持有对该内存的指针，并且在后续的代码中使用了该指针，就会造成heap-use-after-free漏洞。 这种错误的使用已经释放的内存可能导致程序的不可预测行为，甚至可以被恶意攻击者利用来执行任意代码。攻击者可以通过控制已释放的内存中的数据来改变程序的执行流程或者读取敏感信息。 为了防止heap-use-after-free漏洞的发生，我们应该遵循一些最佳实践。首先，确保在不再使用堆内存之前将其正确释放。其次，及时将已经释放的指针设置为NULL，以避免误用。此外，使用堆管理器提供的专用函数来分配和释放内存，避免手动管理内存，可以减少这类错误的发生。 最后，漏洞修复是非常重要的。在发现了heap-use-after-free漏洞后，我们应该尽快修复它，以避免潜在的安全问题。修复这类漏洞的方法包括修改程序逻辑、改变内存分配和释放的顺序等。 综上所述，heap-use-after-free是一种常见的堆相关漏洞，它产生于程序中继续使用已经释放的堆内存。为了防止这类漏洞的发生，我们需要注意正确地分配和释放内存，并及时修复已发现的漏洞。 ### 回答3： heap-use-after-free是指在堆上释放了某个内存块，但之后仍然对该内存块进行了访问或操作。这种错误通常发生在程序员没有正确管理内存的情况下。 当释放完一个内存块之后，程序应该立即将指向该内存块的指针置为NULL，以防止错误地访问已经释放的内存块。然而，如果未将指针置为NULL，并继续使用该指针进行读取或写入操作，就会产生heap-use-after-free错误。 这种错误可能导致一些严重的后果。例如，可能会导致程序崩溃、数据损坏，甚至存在潜在的安全风险。因此，程序员在使用堆上分配的内存时，必须遵守正确的内存管理规则，包括正确释放内存并及时将指针置为NULL。 为了避免heap-use-after-free错误，程序员可以采取以下几种措施。首先，尽量使用动态内存分配的高级抽象机制，如智能指针或垃圾回收器，以自动管理内存。其次，当手动管理内存时，要确保正确释放内存并将指针置为NULL。另外，可以使用工具进行内存泄漏检测和动态分析，以及进行严格的代码审查和测试，以提前发现和修复heap-use-after-free错误。 总之，heap-use-after-free是一种内存管理错误，程序员必须小心处理以避免产生严重的后果。正确的内存管理和代码审查是预防这种错误的有效方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值