如何使用jeprof分析rust的内存

最新推荐文章于 2024-05-24 09:38:03 发布
最新推荐文章于 2024-05-24 09:38:03 发布
阅读量1.4k 收藏
点赞数
文章标签： rust 开发语言 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_37902491/article/details/128103738
版权

使用jeprof分析rust的内存

文章目录

配置项目使用Jemalloc内存分配器

声明Cargo.toml依赖
[dependencies]
jemallocator = { version = "0.5.0", features = ["debug","profiling"] }
jemalloc-sys = { version = "0.5.1+5.3.0-patched", features = ["debug","profiling"] }
声明使用全局内存分配器
#[global_allocator]
static GLOBAL: jemallocator::Jemalloc = jemallocator::Jemalloc;
fn main() {
	// do
}
声明定时任务导出heap文件
use jemalloc_sys::mallctl;
use std::os::raw::{c_char, c_int};
use std::ptr;
use std::thread::sleep;
use std::time::Duration;

pub fn spawn_dump() {
    let thread = std::thread::Builder::new().name("spawn_dump".to_owned());
    thread
        .spawn(|| loop {
            let r = dump();
            println!("---------------dump ret: {} -------------------", r);
            sleep(Duration::from_secs(10));
        })
        .unwrap();
}

fn dump() -> c_int {
    unsafe {
        mallctl(
            "prof.dump\0".as_bytes() as *const _ as *const c_char,
            ptr::null_mut(),
            ptr::null_mut(),
            ptr::null_mut(),
            0,
        )
    }
}

生成prof文件

导环境变量_RJEM_MALLOC_CONF，开启prof
export _RJEM_MALLOC_CONF="prof:true,prof_prefix:/tmp/jeprof.out"
运行程序
./target/release/test-dump
prof_prefix目录下查看对应的转储文件
root@DESKTOP:/mnt/d/Code/Test/test-utils# ls /tmp/ -l
total 24
-rw-r--r-- 1 root root 10617 Jul  8 16:33 jeprof.out.10444.0.m0.heap
-rw-r--r-- 1 root root 11057 Jul  8 16:33 jeprof.out.10444.1.m1.heap

使用jeprof 分析

更多的jeprof使用可以直接查看官方文档

输出文本

执行命令

jeprof --text  ./target/release/test-dump --base /tmp/jeprof.out.10444.0.m0.heap /tmp/jeprof.out.10444.1.m1.heap

结果：

Total: 49.6 MB
    49.6 100.0% 100.0%     49.6 100.0% prof_backtrace_impl
     0.0   0.0% 100.0%     50.1 101.0% ::call_once (inline)
     0.0   0.0% 100.0%     50.1 101.0% _ZN3std10sys_common9backtrace28__rust_begin_short_backtrace17ha86af95e1f7ae42bE.llvm.3306111440337745050
     0.0   0.0% 100.0%     -0.5  -1.0% _ZN3std2rt10lang_start28_$u7b$$u7b$closure$u7d$$u7d$17ha669e04e9178e70eE.llvm.9294924536515583548
     0.0   0.0% 100.0%     -0.5  -1.0% __libc_start_main
     0.0   0.0% 100.0%     49.6 100.0% _rjem_je_malloc_default
     0.0   0.0% 100.0%     49.6 100.0% _rjem_je_prof_backtrace
     0.0   0.0% 100.0%     49.6 100.0% _rjem_je_prof_tctx_create
     0.0   0.0% 100.0%     -0.5  -1.0% _start
     0.0   0.0% 100.0%     50.1 101.0% clone
     0.0   0.0% 100.0%     50.1 101.0% core::ops::function::FnOnce::call_once{{vtable-shim}}
     0.0   0.0% 100.0%     -0.5  -1.0% core::ops::function::impls::::call_once (inline)
     0.0   0.0% 100.0%     49.6 100.0% imalloc_body
     0.0   0.0% 100.0%     -0.5  -1.0% main
     0.0   0.0% 100.0%     49.6 100.0% prof_alloc_prep (inline)
     0.0   0.0% 100.0%     50.1 101.0% start_thread
     0.0   0.0% 100.0%     -0.5  -1.0% std::panic::catch_unwind (inline)
     0.0   0.0% 100.0%     -0.5  -1.0% std::panicking::try (inline)
     0.0   0.0% 100.0%     -0.5  -1.0% std::panicking::try::do_call (inline)
     0.0   0.0% 100.0%     -0.5  -1.0% std::rt::lang_start_internal
     0.0   0.0% 100.0%     -0.5  -1.0% std::rt::lang_start_internal::{{closure}} (inline)
     0.0   0.0% 100.0%     50.1 101.0% std::sys::unix::thread::Thread::new::thread_start
     0.0   0.0% 100.0%     -0.5  -1.0% std::sys_common::backtrace::__rust_begin_short_backtrace
     0.0   0.0% 100.0%     -0.5  -1.0% test_dump::main
     0.0   0.0% 100.0%     49.6 100.0% test_dump::random_memory
输出dot 图

执行命令

jeprof --dot ./target/release/test-dump --base /tmp/jeprof.out.10444.0.m0.heap /tmp/jeprof.out.10444.1.m1.heap

将生成的dot复制到http://www.webgraphviz.com/ 上生成图片

digraph "./target/release/test-dump; 49.6 MB" {
node [width=0.375,height=0.25];
Legend [shape=box,fontsize=24,shape=plaintext,label="./target/release/test-dump\lTotal MB: 49.6\lFocusing on: 49.6\lDropped nodes with <= 0.2 abs(MB)\lDropped edges with <= 0.0 MB\l"];
N1 [label="\ncall_once\n(inline)\n0.0 (0.0%)\rof 50.1 (101.0%)\r",shape=box,fontsize=8.0];
N2 [label="_ZN3std10sys_common9backtrace28__rust_begin_short_backtrace17ha86af95e1f7ae42bE.llvm.3306111440337745050\n0.0 (0.0%)\rof 50.1 (101.0%)\r",shape=box,fontsize=8.0];
N3 [label="clone\n0.0 (0.0%)\rof 50.1 (101.0%)\r",shape=box,fontsize=8.0];
N4 [label="core\nops\nfunction\nFnOnce\ncall_once{{vtable-shim}}\n0.0 (0.0%)\rof 50.1 (101.0%)\r",shape=box,fontsize=8.0];
N5 [label="start_thread\n0.0 (0.0%)\rof 50.1 (101.0%)\r",shape=box,fontsize=8.0];
N6 [label="std\nsys\nunix\nthread\nThread\nnew\nthread_start\n0.0 (0.0%)\rof 50.1 (101.0%)\r",shape=box,fontsize=8.0];
N7 [label="_rjem_je_malloc_default\n0.0 (0.0%)\rof 49.6 (100.0%)\r",shape=box,fontsize=8.0];
N8 [label="_rjem_je_prof_backtrace\n0.0 (0.0%)\rof 49.6 (100.0%)\r",shape=box,fontsize=8.0];
N9 [label="_rjem_je_prof_tctx_create\n0.0 (0.0%)\rof 49.6 (100.0%)\r",shape=box,fontsize=8.0];
N10 [label="imalloc_body\n0.0 (0.0%)\rof 49.6 (100.0%)\r",shape=box,fontsize=8.0];
N11 [label="prof_alloc_prep\n(inline)\n0.0 (0.0%)\rof 49.6 (100.0%)\r",shape=box,fontsize=8.0];
N12 [label="prof_backtrace_impl\n49.6 (100.0%)\r",shape=box,fontsize=58.0];
N13 [label="test_dump\nrandom_memory\n0.0 (0.0%)\rof 49.6 (100.0%)\r",shape=box,fontsize=8.0];
N14 [label="_ZN3std2rt10lang_start28_$u7b$$u7b$closure$u7d$$u7d$17ha669e04e9178e70eE.llvm.9294924536515583548\n0.0 (0.0%)\rof -0.5 (-1.0%)\r",shape=box,fontsize=8.0];
N15 [label="__libc_start_main\n0.0 (0.0%)\rof -0.5 (-1.0%)\r",shape=box,fontsize=8.0];
N16 [label="_start\n0.0 (0.0%)\rof -0.5 (-1.0%)\r",shape=box,fontsize=8.0];
N17 [label="core\nops\nfunction\nimpls\n\ncall_once\n(inline)\n0.0 (0.0%)\rof -0.5 (-1.0%)\r",shape=box,fontsize=8.0];
N18 [label="main\n0.0 (0.0%)\rof -0.5 (-1.0%)\r",shape=box,fontsize=8.0];
N19 [label="std\npanic\ncatch_unwind\n(inline)\n0.0 (0.0%)\rof -0.5 (-1.0%)\r",shape=box,fontsize=8.0];
N20 [label="std\npanicking\ntry\n(inline)\n0.0 (0.0%)\rof -0.5 (-1.0%)\r",shape=box,fontsize=8.0];
N21 [label="std\npanicking\ntry\ndo_call\n(inline)\n0.0 (0.0%)\rof -0.5 (-1.0%)\r",shape=box,fontsize=8.0];
N22 [label="std\nrt\nlang_start_internal\n0.0 (0.0%)\rof -0.5 (-1.0%)\r",shape=box,fontsize=8.0];
N23 [label="std\nrt\nlang_start_internal\n{{closure}}\n(inline)\n0.0 (0.0%)\rof -0.5 (-1.0%)\r",shape=box,fontsize=8.0];
N24 [label="std\nsys_common\nbacktrace\n__rust_begin_short_backtrace\n0.0 (0.0%)\rof -0.5 (-1.0%)\r",shape=box,fontsize=8.0];
N25 [label="test_dump\nmain\n0.0 (0.0%)\rof -0.5 (-1.0%)\r",shape=box,fontsize=8.0];
N6 -> N1 [label=50.1, weight=100000, style="setlinewidth(2.000000),dashed"];
N1 -> N1 [label=50.1, weight=100000, style="setlinewidth(2.000000),dashed"];
N4 -> N2 [label=50.1, weight=100000, style="setlinewidth(2.000000)"];
N1 -> N4 [label=50.1, weight=100000, style="setlinewidth(2.000000)"];
N2 -> N13 [label=50.1, weight=100000, style="setlinewidth(2.000000)"];
N5 -> N6 [label=50.1, weight=100000, style="setlinewidth(2.000000)"];
N3 -> N5 [label=50.1, weight=100000, style="setlinewidth(2.000000)"];
N7 -> N10 [label=49.6, weight=100000, style="setlinewidth(2.000000)"];
N10 -> N11 [label=49.6, weight=100000, style="setlinewidth(2.000000),dashed"];
N13 -> N7 [label=49.6, weight=100000, style="setlinewidth(2.000000)"];
N11 -> N9 [label=49.6, weight=100000, style="setlinewidth(2.000000)"];
N8 -> N12 [label=49.6, weight=100000, style="setlinewidth(2.000000)"];
N11 -> N11 [label=49.6, weight=100000, style="setlinewidth(2.000000),dashed"];
N9 -> N8 [label=49.6, weight=100000, style="setlinewidth(2.000000)"];
N23 -> N19 [label=-0.5, weight=9944, style="setlinewidth(0.059270),dashed"];
N18 -> N22 [label=-0.5, weight=9944, style="setlinewidth(0.059270)"];
N16 -> N15 [label=-0.5, weight=9944, style="setlinewidth(0.059270)"];
N21 -> N17 [label=-0.5, weight=9944, style="setlinewidth(0.059270),dashed"];
N24 -> N25 [label=-0.5, weight=9944, style="setlinewidth(0.059270)"];
N14 -> N24 [label=-0.5, weight=9944, style="setlinewidth(0.059270)"];
N25 -> N13 [label=-0.5, weight=9944, style="setlinewidth(0.059270)"];
N17 -> N14 [label=-0.5, weight=9944, style="setlinewidth(0.059270)"];
N22 -> N19 [label=-0.5, weight=9944, style="setlinewidth(0.059270),dashed"];
N21 -> N23 [label=-0.5, weight=9944, style="setlinewidth(0.059270),dashed"];
N15 -> N18 [label=-0.5, weight=9944, style="setlinewidth(0.059270)"];
N20 -> N21 [label=-1.0, weight=16155, style="setlinewidth(0.118540),dashed"];
N19 -> N20 [label=-1.0, weight=16155, style="setlinewidth(0.118540),dashed"];
}

TODO

出现内存地址：可以使用gdb的info symbol 0x0000555555574dc3 方式确定内存地址对应的函数信息
https://github.com/tikv/jemallocator/issues/33

slience-coding
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
从Rust看内存管理
昨日Forever
11-10 1086
一直以来程序的内存模型分为栈和堆,这对应了程序的两种情形，在运行前就已经固定的内存使用和运行时动态的内存申请。前者在编译后内存空间就已经确定，每个Scope的进入和退出即为入栈和出栈，这种在栈分配的好处是由于内存地址事先确定，可以免去内存不确定下指针的解引用带来的额外开销和空指针等安全问题，同时免去了申请额外空白内存的开销并且空间的连续也提升了Cache的命中率，从而有效提升了性能。 ...
探索 Rust 性能优化的新工具：cargo-profiler
gitblog_00080的博客
05-22 245
探索 Rust 性能优化的新工具：cargo-profiler 项目地址:https://gitcode.com/svenstaro/cargo-profiler cargo-profiler 是一个针对 Rust 开发者的强大工具，它将 Valgrind 的性能分析功能集成到 Cargo 中，作为一款方便的子命令。通过这个工具，开发者可以快速、轻松地对 Rust 应用进行深入的性能剖析。 项目介...
Rust语言实现的Slab内存管理器源码分析
weixin_33816300的博客
10-09 465
2019独角兽企业重金招聘Python工程师标准>>> ...
【Linux上使用jeprof和jemalloc分析内存泄漏的方法】
yagerfgcs的博客
03-08 538
备注：参考：https://docs.tibco.com/pub/activematrix_businessworks/6.6.1/doc/html/GUID-231E1EFC-EA7C-4072-B0F4-0D92093D3161.html。
【C/C++】Jemalloc + Jeprof内存泄漏分析
bandaoyu的note
04-10 1323
需要include jemalloc的头文件并链接jemalloc库: gcc -I/usr/local/jemalloc-5.1.0/include main.c -L/usr/local/jemalloc-5.1.0/lib -ljemalloc。(原文:https://docs.tibco.com/pub/activematrix_businessworks/6.6.1/doc/html/GUID-231E1EFC-EA7C-4072-B0F4-0D92093D3161.html)
服务内存占用分析
XYY_CN的博客
03-26 630
介绍linux系统下，如何分析进程的内存占用。常用的进程内存占用情况查看命令，以及使用valgrind massif 和jeprof两个工具查看具体的内存分布在哪些地方
Rust内存DataFrames的速度飞快-Rust开发
05-27
Polars（WIP）在内存中以惊人的速度快速运行Rust中的DataFrames Polars是在Rust中实现的DataFrames库，使用Apache Arrow作为后端。 它的重点是提供仅支持核心功能的快速内存DataFrame库。 Performance Group按功能...
使用Rust搭建Web开发环境
最新发布
06-26
使用Rust搭建Web开发环境是一个涉及多个步骤的过程，以下是一个清晰的介绍，包含了必要的步骤和参考信息： 一、Rust语言简介 Rust是一种系统编程语言，由Mozilla公司的Graydon Hoare在2006年发起。它的设计目标...
Rust的概要介绍与分析
05-04
这些文档详细介绍了Rust的语法、类型系统、并发模型、内存管理以及标准库等关键内容。对于初学者来说，官方文档提供了清晰易懂的教程和示例，帮助他们快速掌握Rust的基础知识。 其次，Rust社区非常活跃，拥有大量的...
对 Rust 语言的分析.pdf
08-14
对 Rust 语言的分析，你必须理解一下
jemallocator-由jemalloc支持的Rust分配器-Rust开发
05-27
jemallocator链接到jemalloc并提供实现分配器API的Jemalloc单元类型，可以将其设置为＃[global_allocator] Ove jemallocator链接到jemalloc并提供实现分配器API的Jemalloc单元类型，可以将其设置为＃[global_allocator ]概述jemalloc支持生态系统由以下板条箱组成：jemalloc-sys：构建和链接jemalloc，并向其暴露原始C绑定。 jemallocator：提供实现GlobalAlloc和Alloc特性的Jemalloc类型。 jemalloc-ctl：jemalloc的控制和内省API的高级包装（mallctl *（）fa
使用 jemalloc profile memory
fan_music的博客
06-05 2052
对于长时间运行的服务端程序，内存的使用一直是一个非常重要的监控指标，当内存的使用量一直在上升的时候，我们就需要警觉起来，因为很有可能整个系统出现了内存泄露。那么剩下的问题就比较简单了，如何动态的获知哪里有内存泄露呢？ 对 Go 的程序来说，我们可以使用语言内置的 pprof 工具非常方便的对内存进行 profile，我们只需要在程序里面 import _ "net/http/pprof"，这样启动的 HTTP server 服务器就能够被直接 profile 了。 但对 Rust，情况就没那么简单了。因
Rust 1.32.0将预设更改为jemalloc系统分配器
SBFPLAY直播记录馆
01-21 523
Rust释出了最新的更新版本1.32.0，新增了方便侦错用的dbg宏，更换了默认的分配器，从原本默认使用jemalloc改为系统分配器。Rust 1.32.0加入了dbg宏（Macro），这个宏是打印侦错流开发者（Print Debugger）一大福音，过去用println!打印变量，要麻烦地设定参数，而使用dbg，只需要把参数丢进dbg!中，就能简单地显示变量中的值，而且还不需要担心上下文。当开...
jemalloc安装和使用
热门推荐
zhugl的博客
04-13 2万+
前言   jemalloc是一个内存分配器，最开始出现在FreeBSD上的libc中，FreeBSD最早使用phkmalloc，但它不是在多处理器系统且支持多线程的情况下设计的，为了解决多处理器系统和多线程应用程序的可扩展性瓶颈，由此诞生jemalloc，它是Jason Evans 2005年进行开发的，因此叫"je"。在2007年的时候为了改善Firefox在3.0版中的内存使用情况，使用jem...
rust 不再默认为jemalloc
mutourend的博客
06-19 642
摘自 https://www.reddit.com/r/rust/comments/9twam5/jemalloc_was_just_removed_from_the_standard/ jemalloc was just removed from the standard library
推荐使用jemallocator：优化内存管理的利器
gitblog_00034的博客
05-24 272
推荐使用jemallocator：优化内存管理的利器 项目地址:https://gitcode.com/gnzlbg/jemallocator jemallocator是一个基于jemalloc的Rust库，它为你的项目提供了高效的全局分配器解决方案。通过简单的API，你可以轻松地将jemallocator集成到你的代码中，以提升程序在内存管理和性能方面的表现。 项目简介 jemallocator...
【Rust 日报】2021-8-26 Rudra Rust 的内存安全和未定义行为检测工具
Rust语言学习交流
08-27 340
Rudra Rust 的内存安全和未定义行为检测工具Rudra 是一个静态分析器，用于检测 Rust 程序中常见的未定义行为。它能够分析单个 Rust 包以及 crates.io 上的所有...
记一次 Rust 内存泄漏排查之旅 | 经验总结篇
beary_tang的博客
06-16 330
这篇文章记录了在 GreptimeDB 中诊断和修复一个 Rust 内存泄漏问题的全过程。我们借助 jemalloc 的 heap profiling 和 Tokio-console，配合严谨的代码审查，成功地找出并解决了问题。在此，我们提供一些经验总结和建议供参考。
rust内存管理优势
09-06
Rust的内存管理优势主要体现在以下几个方面： 1. 零成本抽象：Rust提供了诸多高级抽象特性，如所有权系统、借用检查器和生命周期等，但这些抽象在运行时几乎没有额外的开销。这意味着Rust可以在保证安全性的同时，避免了传统垃圾回收机制引入的运行时开销。 2. 所有权系统：Rust的核心特性之一就是所有权系统。通过所有权系统，Rust确保每块内存只有一个所有者，并且在编译时进行静态检查，避免了数据竞争和内存错误。这使得Rust能够在编译时捕获内存安全问题，而不需要运行时的垃圾回收或引用计数。 3. 借用检查器：Rust的借用检查器确保了对数据的访问是安全和有效的。它通过引入借用规则和生命周期来确保内存的正确使用。借用检查器在编译时检查借用关系，并防止数据竞争和悬垂指针等常见错误。 4. 内存安全性：Rust在编译时保证了内存安全性，避免了常见的内存错误，如空指针引用、野指针访问和缓冲区溢出等。这使得Rust能够提供更高的代码可靠性和稳定性，减少了潜在的安全漏洞。 总体而言，Rust的内存管理优势在于其强大而高效的所有权系统和借用检查器，能够在编译时捕获内存错误，并保证内存安全性，同时避免了传统垃圾回收机制引入的运行时开销。这使得Rust成为一种适用于系统级编程和高性能应用的语言选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值