go内存分析工具介绍--pprof

已于 2022-04-16 12:03:40 修改
阅读量6.3k 收藏 8
点赞数 2
文章标签： golang
于 2022-04-16 10:33:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013028395/article/details/124209557
版权

本人小白，刚开始接触go就遇到了一个内存问题，在进行内存分析的时候发现了一下比较好的工具，在此留下记录。

废话不多说，直接开整。

什么是pprof：pprof是Go的性能分析工具，在程序运行过程中，可以记录程序的运行信息，可以是CPU使用情况、内存使用情况、goroutine运行情况等，当需要性能调优或者定位Bug时候，这些记录的信息是相当重要。

基本使用方法

使用pprof有多种方式，Go已经现成封装好了1个：net/http/pprof，使用简单的几行命令，就可以开启pprof，记录运行信息，并且提供了Web服务，能够通过浏览器和命令行2种方式获取运行数据。

废话不多说先上例子：

package main

import (
    "fmt"
    "net/http"
    _ "net/http/pprof"
)

func main() {
    // 开启pprof，监听请求
    ip := "0.0.0.0:6060"
    if err := http.ListenAndServe(ip, nil); err != nil {
        fmt.Printf("start pprof failed on %s\n", ip)
        os.Exit(1)
    }
    // end pprof

    // do something 下面是你的工程代码
    ........
}

如图所示，将代码添加到main方法中。然后就是打镜像——喝茶——等镜像制作——等镜像制作——等镜像制作……发布

下面我门来说一下主要的操作命令命令：

（一）获取堆栈信息

$ go tool pprof -inuse_space http://ip:amdin_port/debug/pprof/heap

-inuse_space参数就是当前服务使用的内存情况，还有一个-alloc_space参数是指服务启动以来总共分配的内存情况，前者更直观一些。

root@sns-ads-service06:~/pprof# go tool pprof -inuse_space http://localhost:6060/debug/pprof/heap
Fetching profile over HTTP from http://localhost:6060/debug/pprof/heap
Saved profile in /root/pprof/pprof.123.alloc_objects.alloc_space.inuse_objects.inuse_space.003.pb.gz
File: thriftcapture
Build ID: 1da7c49a46e05f63089a7eecbe14129ad3948566
Type: inuse_space
Time: Apr 14, 2022 at 1:51am (UTC)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof)

1，这个命令执行完成后会生成内存信息的图例，如上图中第三行所示可打开内存图进行查看

Saved profile in /root/pprof/pprof.123.alloc_objects.alloc_space.inuse_objects.inuse_space.003.pb.gz

这其中包含了程序名123，profile类型alloc已分配的内存，inuse代表使用中的内存。

关于命令，我只用到了2个，top和list，其他命令大家可以自行探索，不再赘述。（可以通过help命令查看所有命令）

2，top命令：按指标大小列出前10个函数，比如内存是按内存占用多少，CPU是按执行时间多少。

root@sns-ads-service06:~/pprof# go tool pprof -inuse_space http://localhost:6060/debug/pprof/heap
Fetching profile over HTTP from http://localhost:6060/debug/pprof/heap
Saved profile in /root/pprof/pprof.thriftcapture.alloc_objects.alloc_space.inuse_objects.inuse_space.003.pb.gz
File: thriftcapture
Build ID: 1da7c49a46e05f63089a7eecbe14129ad3948566
Type: inuse_space
Time: Apr 14, 2022 at 1:51am (UTC)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof) top
Showing nodes accounting for 9034.64kB, 100% of 9034.64kB total
Showing top 10 nodes out of 23
      flat  flat%   sum%        cum   cum%
 5120.23kB 56.67% 56.67%  5120.23kB 56.67%  main.CopyMulty
 2368.33kB 26.21% 82.89%  2368.33kB 26.21%  github.com/buger/goreplay/raw_socket_listener.NewListener
 1034.03kB 11.45% 94.33%  1034.03kB 11.45%  runtime.procresize
  512.05kB  5.67%   100%   512.05kB  5.67%  os.newFile
         0     0%   100%   512.05kB  5.67%  github.com/buger/goreplay/raw_socket_listener.(*Listener).readPcap.func1
         0     0%   100%   512.05kB  5.67%  github.com/buger/goreplay/rlog.(*RLogger).GetMemoryUsageRate
         0     0%   100%   512.05kB  5.67%  github.com/buger/goreplay/rlog.(*logWriter).ReadFile
         0     0%   100%  2368.33kB 26.21%  main.(*RAWInput).listen
         0     0%   100%  2368.33kB 26.21%  main.InitPlugins
         0     0%   100%  2368.33kB 26.21%  main.NewRAWInput
(pprof) root@sns-ads-service06:~/pprof#

top会列出5个统计数据：

  • flat: 本函数占用的内存量。
  • flat%: 本函数内存占使用中内存总量的百分比。
  • sum%: 前面每一行flat百分比的和，比如第2行虽然的100% 是 100% + 0%。
  • cum: 是累计量，加入main函数调用了函数f，函数f占用的内存量，也会记进来。
  • cum%: 是累计量占总量的百分比。

3，list命令：查看某个函数的代码，以及该函数每行代码的指标信息，如果函数名不明确，会进行模糊匹配，

list   {分析的方法}

(pprof) list raw_socket_listener.NewListener
Total: 12.36MB
ROUTINE ======================== github.com/buger/goreplay/raw_socket_listener.NewListener in /go/src/goreplay/raw_socket_listener/listener.go
    2.85MB     2.85MB (flat, cum) 23.08% of Total
         .          .    112:// NewListener creates and initializes new Listener object
         .          .    113:func NewListener(addr string, port string, engine int, trackResponse bool, expire time.Duration, bpfFilter string, timestampType string, bufferSize int, overrideSnapLen bool, immediateMode bool, inputOverrideSnapLen int, memeryLimitSwitch bool, memeryLimit float64) (l *Listener) {
         .          .    114:	l = &Listener{}
         .          .    115:
         .          .    116:	l.packetsChan = make(chan *packet, 10000)
  553.04kB   553.04kB    117:	l.messagesChan = make(chan *TCPMessage, 10000)
         .          .    118:	l.quit = make(chan bool)
         .          .    119:	l.readyCh = make(chan bool, 1)
         .          .    120:	//pyrl add
    2.31MB     2.31MB    121:	l.thriftCh = make(chan []byte, 100000)
         .          .    122:	l.percentage = mycfg.GetGcfg().Percentage
         .          .    123:	l.rlogAppName = mycfg.GetGcfg().AppName
         .          .    124:	l.rlw = rlog.NewRLogger(rlog.WriterConfig{
         .          .    125:		AppName: l.rlogAppName,
         .          .    126:		Async:   true,

可以看到在NewListener中的第121行占用了2.31MB内存，左右2个数据分别是flat和cum，含义和top中解释的一样。

（二）根据前后两次生成的图标进行内存使用情况的对比

通过对比可查看前后两个时段的内存变化。

$ go tool pprof -base pprof.thriftcapture.alloc_objects.alloc_space.inuse_objects.inuse_space.001.pb.gz pprof.thriftcapture.alloc_objects.alloc_space.inuse_objects.inuse_space.002.pb.gz

（三）查看内存分配

wget http://localhost:6060/debug/pprof/heap?debug=1

这个命令其实就是把当前内存分配的详情文件抓了下来，本地会生成一个叫heap?debug=1的文件，看一看服务内存分配的具体情况，也可通过runtime.MemStats获取

具体文件内存自行产看

指标含义大致如下

以下指标可参考看runtime.MemStats中响应参数的说明
    Alloc      uint64 // 已申请且仍在使用的字节数
    TotalAlloc uint64 // 已申请的总字节数（已释放的部分也算在内）
    Sys        uint64 // 从系统中获取的字节数（下面XxxSys之和）虚拟内存
    Lookups    uint64 // 指针查找的次数
    Mallocs    uint64 // 申请内存的次数
    Frees      uint64 // 释放内存的次数
    // 主分配堆统计
    HeapAlloc    uint64 // 已申请且仍在使用的字节数
    HeapSys      uint64 // 从系统中获取的字节数
    HeapIdle     uint64 // 闲置span中的字节数
    HeapInuse    uint64 // 非闲置span中的字节数
    HeapReleased uint64 // 释放到系统的字节数
    HeapObjects  uint64 // 已分配对象的总个数
    // L低层次、大小固定的结构体分配器统计，Inuse为正在使用的字节数，Sys为从系统获取的字节数
    StackInuse  uint64 // 引导程序的堆栈
    StackSys    uint64
    MSpanInuse  uint64 // mspan结构体
    MSpanSys    uint64
    MCacheInuse uint64 // mcache结构体
    MCacheSys   uint64
    BuckHashSys uint64 // profile桶散列表
    GCSys       uint64 // GC元数据
    OtherSys    uint64 // 其他系统申请
    // 垃圾收集器统计
    NextGC       uint64 // 会在HeapAlloc字段到达该值（字节数）时运行下次GC
    LastGC       uint64 // 上次运行的绝对时间（纳秒）
    PauseTotalNs uint64
    PauseNs      [256]uint64 // 近期GC暂停时间的循环缓冲，最近一次在[(NumGC+255)%256]
    NumGC        uint32
    EnableGC     bool
    DebugGC      bool

(四) 查询goroutine相关信息


$ wget http://ip:admin_port/debug/pprof/goroutine?debug=1
$ wget http://ip:admin_port/debug/pprof/goroutine?debug=2

debug=1就是获取服务当前goroutine的数目和大致信息，debug=2获取服务当前goroutine的详细信息，分别在本地生成了goroutine？debug=1和goroutine？debug=2文件，

如果要直接在控制台打印，加参数“-O -”

例如：wget -O - http://localhost:6060/debug/pprof/goroutine?debug=1

debug=1

root@sns-ads-service06:/usr/bin# wget -O - http://localhost:6060/debug/pprof/goroutine?debug=1
--2022-04-16 03:52:55--  http://localhost:6060/debug/pprof/goroutine?debug=1
Resolving localhost (localhost)... ::1, 127.0.0.1
Connecting to localhost (localhost)|::1|:6060... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/plain]
Saving to: 'STDOUT'

-                                               [<=>                                                                                      ]       0  --.-KB/s               goroutine profile: total 19
5 @ 0x439d16 0x40852c 0x407f58 0x84e639 0x46a261
#	0x84e638	github.com/buger/goreplay/raw_socket_listener.(*Listener).sendMsg+0x58	/go/src/goreplay/raw_socket_listener/listener.go:176

4 @ 0x40545c 0x83b0cc 0x83f091 0x83f009 0x8374ed 0x8371ac 0x7bdf1a 0x850ab4 0x46a261
#	0x83b0cb	github.com/google/gopacket/pcap._Cfunc_pcap_wait+0x4b				_cgo_gotypes.go:877
#	0x83f090	github.com/google/gopacket/pcap.(*Handle).waitForPacket.func1+0x50		/go/src/goreplay/vendor/github.com/google/gopacket/pcap/pcap_unix.go:693

debug=2 获取 详细的gorountie信息

root@sns-ads-service06:/usr/bin# wget -O - http://localhost:6060/debug/pprof/goroutine?debug=2
--2022-04-16 03:50:29--  http://localhost:6060/debug/pprof/goroutine?debug=2
Resolving localhost (localhost)... ::1, 127.0.0.1
Connecting to localhost (localhost)|::1|:6060... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/plain]
Saving to: 'STDOUT'

-                                               [<=>                                                                                      ]       0  --.-KB/s               goroutine 164 [running]:
runtime/pprof.writeGoroutineStacks({0xb16a20, 0xc00010e1c0})
	/usr/local/go/src/runtime/pprof/pprof.go:693 +0x70
goroutine 98 [chan receive, 8 minutes]:
github.com/buger/goreplay/rlog.(*logWriter).runCacheWrite(0xc00011c000)
	/go/src/goreplay/rlog/writer.go:397 +0x7d
created by github.com/buger/goreplay/rlog.(*logWriter).initLogWriter
	/go/src/goreplay/rlog/writer.go:172 +0x15b

goroutine 99 [chan receive, 8 minutes]:
github.com/buger/goreplay/raw_socket_listener.(*Listener).sendMsg(0xc0000eaea0)
	/go/src/goreplay/raw_socket_listener/listener.go:176 +0x59
created by github.com/buger/goreplay/raw_socket_listener.NewListener
	/go/src/goreplay/raw_socket_listener/listener.go:130 +0x2fa

（五）命令行获取goroutine信息

root@sns-ads-service06:/usr/bin# go tool pprof http://localhost:6060/debug/pprof/goroutine
Fetching profile over HTTP from http://localhost:6060/debug/pprof/goroutine
Saved profile in /root/pprof/pprof.thriftcapture.goroutine.002.pb.gz
File: thriftcapture
Build ID: adb18152e548b18b1b789f8ed7f8ef4d989f6a30
Type: goroutine
Time: Apr 16, 2022 at 3:56am (UTC)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof)

Saved profile in /root/pprof/pprof.thriftcapture.goroutine.002.pb.gz

同heap一样，会生成goroutine文件

进行前后对比

（go tool pprof -base pprof.thriftcapture.goroutine.001.pb.gz pprof.thriftcapture.goroutine.002.pb.gz）

root@sns-ads-service06:~/pprof# go tool pprof -base pprof.thriftcapture.goroutine.001.pb.gz  pprof.thriftcapture.goroutine.002.pb.gz
File: thriftcapture
Build ID: adb18152e548b18b1b789f8ed7f8ef4d989f6a30
Type: goroutine
Time: Apr 16, 2022 at 3:46am (UTC)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof) top
Showing nodes accounting for 0, 0% of 0 total
      flat  flat%   sum%        cum   cum%
(pprof)

（上图两个文件的对比，看来没有任何区别）

指标含义于heap相同

同样有三个命令可以用

  1. top：显示正运行到某个函数goroutine的数量
  2. traces：显示所有goroutine的调用栈
  3. list：列出代码详细的信息。

持续更新中。。。

大家如果对文章还有疑问可以参考 参考文献内容，本文只介绍了自己在使用过程中的一些排查用到的命令。

参考文献： 实战Go内存泄露 - SegmentFault 思否 

赳赳学习
关注
Go-pprof是一个用于可视化和分析分析数据的工具
08-14
Go-pprof是Go语言开发的一个强大的性能分析工具，它是Google开源的pprof库在Go语言环境下的实现。pprof的主要目的是帮助开发者识别和优化程序中的性能瓶颈，通过收集和分析运行时的数据，提供内存使用、CPU消耗、...
使用go pprof进行golang程序内存分析
月守护的博客
11-18 2627
use pprof to fix oom
Go性能分析工具pprof详解
nil
01-31 1万+
pprof是Go官方提供的性能分析工具，可以分析程序的运行情况，并且提供可视化的功能。本文主要涉及pprof的使用和具体示例的讲解。
pprof的使用
最新发布
我兜里有糖
09-26 436
先来一段性能分析案例命令行运行这是段简单的代码示例，通过runtime分析出程序运行过程中内存的变化情况，分别对应着内存的分配、空闲、释放如果能web页面展示，或者生成一个文件、测试图表、命令行交互分析更为方便下面介绍pprof使用方式pprof是go语言内置 的分析性能，运维分析数据的工具。
掌握Go性能优化：使用 net/http/pprof 进行高效性能分析
walkskyer的博客
06-05 1106
在高性能的服务器应用开发过程中，性能优化是一个至关重要的环节。是 Go 语言标准库中的一个强大工具，它能够帮助开发者监控和分析应用程序的运行时性能数据，从而定位到可能的性能瓶颈。这个包提供了一个简便的方式，通过HTTP服务器端点收集性能相关的数据，包括CPU使用情况、内存分配情况以及协程的状态等。包能够通过HTTP服务暴露出一系列的调试端点，开发者可以通过这些端点获取程序的实时性能分析数据。这些数据以profile的形式存在，可以使用 Go 语言自带的。
net/http/pprof
u011525168的博客
12-25 1692
pprof包通过它的HTTP服务端提供pprof可视化工具期望格式的运行时剖面文件数据服务 package main import ( _ "net/http/pprof" "net/http" ) func main() { http.ListenAndServe("localhost:8082", nil) } 只需要导入...
Golang pprof 性能分析 之 net/http/pprof 的使用
jinjiangcc
09-18 6481
golang 提供的 pprof 工具可以很方便的分析性能上的问题比如cpu的使用情况，堆内存分配情况等 昨天使用了net/http/pprof包进行问题分析，所以简单记录一下 net/http/pprof包的使用非常简单 1、代码引入pprof package main import ( &amp;amp;quot;fmt&amp;amp;quot; &amp;amp;quot;github.com/valyala/fasthttp&amp;amp;quot;
Go net/http/pprof 分析内存泄露及解决方法
rgc_520_zyl的博客
09-05 2812
使用pprof分析解决go语言中内存泄露的过程
go-pprof笔记
01-07
在golang中内置了pprof工具，专门来做golang语言的优化。 PProf 关注的模块 CPU profile：报告程序的 CPU 使用情况，按照一定频率去采集应用程序在 CPU 和寄存器上面的数据 Memory Profile（Heap Profile）：报告...
pprof-ebpf:使用ebpf生成pprof格式配置文件的探查器
05-11
pprof是Google开发的一个强大的性能分析工具，它可以与Go语言的CPU、内存、堆栈等多种类型的profile结合使用。pprof提供了可视化的界面和命令行工具，帮助开发者定位程序的性能瓶颈。 **pprof-ebpf的使用环境** ...
Go-prealloc是Go静态分析工具用于查找可能预先分配的切片声明
08-13
在Go编程语言中，效率和性能是至关...配合良好的编程习惯和深入理解Go语言特性，我们可以编写出更高效、更健壮的代码。在实践中，持续学习和优化是提升代码质量的关键，而Go-prealloc正是这一过程中的一个重要工具。
Go-一个Go的内存分配器
08-14
Go语言的内存分配器是其性能优化的关键组成部分之一。它负责在程序运行时高效地管理内存，确保数据的快速存取并最小化内存碎片。在Go中，内存分配主要通过`new`操作符、切片(slices)、映射(maps)以及结构体(structs)...
一看就懂系列之Golang的pprof
咖啡色的羊驼
03-02 3091
前言 这是一篇给网友的文章，正好最近在研究分析golang的性能，我觉得是时候来一个了断了。 正文 1.一句话简介 Golang自带的一款开箱即用的性能监控和分析工具。 （全篇看的过程中没必要特意记忆、看完自然让你有不一样的感觉） 2.使用姿势？ 2.1 runtime/pprof 手动调用runtime.StartCPUProfile/runtime.StopCPUProfile等API来进行...
手把手教你使用 pprof
胤凯的博客
11-16 2205
手把手带大家使用 pprof，写出高性能、高并发、高可用代码
pprof 强大的golang性能分析工具使用简介
AlphaTao的博客
12-04 1834
简介 性能分析是优化代码不可避免的一步。而拥有高效清晰的性能分析工具则能让我们事半功倍。 PProf就是一款Golang提供的强大代码性能分析，能够非常方便的监控代码运行性能。 这里简单的介绍pprof两种使用方式 使用net/http/pprof 包 更适合整体分析 运行go test时收集相关信息 更适合细节函数分析 性能数据采集 1.net/http/pprof 包 net/http/p...
golang性能分析，pprof的使用，graphviz，火焰图
热门推荐
猛犸象
07-05 1万+
golang中的pprof的使用，graphviz
Golang 大杀器之性能剖析 PProf
weixin_34380296的博客
09-15 879
Golang 大杀器之性能剖析 PProf 原文地址：Golang 大杀器之性能剖析 PProf 前言 写了几吨代码，实现了几百个接口。功能测试也通过了，终于成功的部署上线了 结果，性能不佳，什么鬼？
Golang的pprof性能分析
铁柱的博客
06-17 3558
主要是介绍pprof的使用以及详细的性能优化案例。
Go pprof 性能分析工具 - 详细使用图解
梦~'
09-07 8548
Go pprof 性能分析工具 - 详细使用图解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值