程序运行时主要关注的四个方面
- CPU占用
- 内存占用
- 死锁
- 协程信息
一、 嵌入应用收集数据
1. 一次性执行应用
// cpu
f, err := os.Create(*cpuprofile)
pprof.StartCPUProfile(f)
defer pprof.StopCPUProfile()
// mem
f, err := os.Create(*memprofile)
pprof.WriteHeapProfile(f)
f.Close()
2.后台应用
[如果是http应用就直接添加路由,否则就启动一个httpserver]
如果使用了默认的 http.DefaultServeMux(通常是代码直接使用
http.ListenAndServe("0.0.0.0:8000", nil)),
只需要添加一行:
import _ "net/http/pprof"
如果你使用自定义的 Mux,则需要手动注册一些路由规则:
r.HandleFunc("/debug/pprof/", pprof.Index)
r.HandleFunc("/debug/pprof/cmdline", pprof.Cmdline)
r.HandleFunc("/debug/pprof/profile", pprof.Profile)
r.HandleFunc("/debug/pprof/symbol", pprof.Symbol)
r.HandleFunc("/debug/pprof/trace", pprof.Trace)
访问/debug/pprof/
/debug/pprof/
profiles:
0 block
62 goroutine
444 heap
30 threadcreate
full goroutine stack dump
这个路径下还有几个子页面:
/debug/pprof/profile
:访问这个链接会自动进行 CPU profiling,持续 30s,并生成一个文件供下载/debug/pprof/heap
: Memory Profiling 的路径,访问这个链接会得到一个内存 Profiling 结果的文件/debug/pprof/block
:block Profiling 的路径/debug/pprof/goroutines
:运行的 goroutines 列表,以及调用关系
go tool pprof -http :8090 http://localhost/debug/pprof/profile\?seconds\=10
go tool pprof ./hyperkube http://localhost:10251/debug/pprof/profile
二、获取分析Profiling数据
go tool pprof
最简单的使用方式为 go tool pprof [binary] [source]
,binary
是应用的二进制文件,用来解析各种符号;source
表示 profile 数据的来源,可以是本地的文件,也可以是 http 地址。
1. 分析cpu占用
➜ go tool pprof ./hyperkube http://localhost:10251/debug/pprof/profile
Fetching profile from http://localhost:10251/debug/pprof/profile
Please wait... (30s)
Saved profile in /home/cizixs/pprof/pprof.hyperkube.localhost:10251.samples.cpu.002.pb.gz
Entering interactive mode (type "help" for commands)
(pprof)
这个命令会进行 CPU profiling 分析,等待一段时间(默认是 30s,如果在 url 最后加上 ?seconds=60
参数可以调整采集数据的时间为 60s)之后,我们就进入了一个交互式命令行,可以对解析的结果进行查看和导出。
一个有用的命令是 topN
,它列出最耗时间的地方:
(pprof) top10
130ms of 360ms total (36.11%)
Showing top 10 nodes out of 180 (cum >= 10ms)
flat flat% sum% cum cum%
20ms 5.56% 5.56% 100ms 27.78% encoding/json.(*decodeState).object
20ms 5.56% 11.11% 20ms 5.56% runtime.(*mspan).refillAllocCache
20ms 5.56% 16.67% 20ms 5.56% runtime.futex
10ms 2.78% 19.44% 10ms 2.78% encoding/json.(*decodeState).literalStore
10ms 2.78% 22.22% 10ms 2.78% encoding/json.(*decodeState).scanWhile
10ms 2.78% 25.00% 40ms 11.11% encoding/json.checkValid
10ms 2.78% 27.78% 10ms 2.78% encoding/json.simpleLetterEqualFold
10ms 2.78% 30.56% 10ms 2.78% encoding/json.stateBeginValue
10ms 2.78% 33.33% 10ms 2.78% encoding/json.stateEndValue
10ms 2.78% 36.11% 10ms 2.78% encoding/json.stateInString
每一行表示一个函数的信息。前两列表示函数在 CPU 上运行的时间以及百分比;第三列是当前所有函数累加使用 CPU 的比例;第四列和第五列代表这个函数以及子函数运行所占用的时间和比例(也被称为累加值 cumulative
),应该大于等于前两列的值;最后一列就是函数的名字。如果应用程序有性能问题,上面这些信息应该能告诉我们时间都花费在哪些函数的执行上了。
pprof 不仅能打印出最耗时的地方(top
),还能列出函数代码以及对应的取样数据(list
)、汇编代码以及对应的取样数据(disasm
),而且能以各种样式进行输出,比如 svg、gv、callgrind、png、gif等等。
其中一个非常便利的是 web
命令,在交互模式下输入 web
,就能自动生成一个 svg
文件,并跳转到浏览器打开,生成了一个函数调用图:
只截取了其中一部分,但是能明显看到 encoding/json.(*decodeState).object
是这里耗时比较多的地方,而且能看到它调用了哪些函数,分别函数多少。这些更详细的信息对于定位和调优性能是非常有帮助的!
要想更细致分析,就要精确到代码级别了,看看每行代码的耗时,直接定位到出现性能问题的那行代码。pprof
也能做到,list
命令后面跟着一个正则表达式,就能查看匹配函数的代码以及每行代码的耗时:
(pprof) list podFitsOnNode
Total: 120ms
ROUTINE ======================== k8s.io/kubernetes/plugin/pkg/scheduler.podFitsOnNode in /home/cizixs/go/src/k8s.io/kubernetes/_output/local/go/src/k8s.io/kubernetes/plugin/pkg/scheduler/generic_scheduler.go
0 20ms (flat, cum) 16.67% of Total
. . 230:
. . 231:// Checks whether node with a given name and NodeInfo satisfies all predicateFuncs.
. . 232:func podFitsOnNode(pod *api.Pod, meta interface{}, info *schedulercache.NodeInfo, predicateFuncs map[string]algorithm.FitPredicate) (bool, []algorithm.PredicateFailureReason, error) {
. . 233: var failedPredicates []algorithm.PredicateFailureReason
. . 234: for _, predicate := range predicateFuncs {
. 20ms 235: fit, reasons, err := predicate(pod, meta, info)
. . 236: if err != nil {
. . 237: err := fmt.Errorf("SchedulerPredicates failed due to %v, which is unexpected.", err)
. . 238: return false, []algorithm.PredicateFailureReason{}, err
. . 239: }
. . 240: if !fit {
如果想要了解对应的汇编代码,可以使用 disadm <regex>
命令。这两个命令虽然强大,但是在命令行中查看代码并不是很方面,所以你可以使用 weblist
命令,用法和两者一样,但它会在浏览器打开一个页面,能够同时显示源代码和汇编代码。
2. 分析内存占用
Memory Profiling
要想获得内存使用 Profiling 信息,只需要把数据源修改一下就行(对于 http 方式来说就是修改 url 的地址,从 /debug/pprof/profile
改成 /debug/pprof/heap
):
➜ go tool pprof ./hyperkube http://localhost:10251/debug/pprof/heap
Fetching profile from http://localhost:10251/debug/pprof/heap
Saved profile in /home/cizixs/pprof/pprof.hyperkube.localhost:10251.inuse_objects.inuse_space.002.pb.gz
Entering interactive mode (type "help" for commands)
(pprof)
和 CPU Profiling 使用一样,使用 top N
可以打印出使用内存最多的函数列表:
(pprof) top
11712.11kB of 14785.10kB total (79.22%)
Dropped 580 nodes (cum <= 73.92kB)
Showing top 10 nodes out of 146 (cum >= 512.31kB)
flat flat% sum% cum cum%
2072.09kB 14.01% 14.01% 2072.09kB 14.01% k8s.io/kubernetes/vendor/github.com/beorn7/perks/quantile.NewTargeted
2049.25kB 13.86% 27.87% 2049.25kB 13.86% k8s.io/kubernetes/pkg/api/v1.(*ResourceRequirements).Unmarshal
1572.28kB 10.63% 38.51% 1572.28kB 10.63% k8s.io/kubernetes/vendor/github.com/beorn7/perks/quantile.(*stream).merge
1571.34kB 10.63% 49.14% 1571.34kB 10.63% regexp.(*bitState).reset
1184.27kB 8.01% 57.15% 1184.27kB 8.01% bytes.makeSlice
1024.16kB 6.93% 64.07% 1024.16kB 6.93% k8s.io/kubernetes/pkg/api/v1.(*ObjectMeta).Unmarshal
613.99kB 4.15% 68.23% 2150.63kB 14.55% k8s.io/kubernetes/pkg/api/v1.(*PersistentVolumeClaimList).Unmarshal
591.75kB 4.00% 72.23% 1103.79kB 7.47% reflect.Value.call
520.67kB 3.52% 75.75% 520.67kB 3.52% k8s.io/kubernetes/vendor/github.com/gogo/protobuf/proto.RegisterType
512.31kB 3.47% 79.22% 512.31kB 3.47% k8s.io/kubernetes/pkg/api/v1.(*PersistentVolumeClaimStatus).Unmarshal
每一列的含义是类似的,只不过从 CPU 使用时间变成了内存使用大小
需要注意的是,默认情况下,统计的是内存使用大小,如果执行命令的时候加上 --inuse_objects
可以查看每个函数分配的对象数;--alloc-space
查看分配的内存空间大小。
这里还要提两个比较有用的方法,如果应用比较复杂,生成的调用图特别大,看起来很乱,有两个办法可以优化:
- 使用
web funcName
的方式,只打印和某个函数相关的内容 - 运行
go tool pprof
命令时加上--nodefration=0.05
参数,表示如果调用的子函数使用的 CPU、memory 不超过 5%,就忽略它,不要显示在图片中
并且pprof支持动态的 web 浏览方式
3. 分析goroutine占用
从 /debug/pprof/profile 改成 /debug/pprof/goroutine
traces命令可以查看栈详情、
list可以查看具体的某一个
top可以查看前几个
3. 其他
1. 火焰图
go1.11之前使用go-torch,之后go tool pprof已经集成了火焰图
2. 和测试工具的集成
go test 命令有两个参数和 pprof 相关,它们分别指定生成的 CPU 和 Memory profiling 保存的文件:
-cpuprofile
:cpu profiling 数据要保存的文件地址-memprofile
:memory profiling 数据要报文的文件地址
比如下面执行测试的同时,也会执行 CPU profiling,并把结果保存在 cpu.prof
文件中:
$ go test -bench . -cpuprofile=cpu.prof
执行结束之后,就会生成 main.test
和 cpu.prof
文件。要想使用 go tool pprof
,需要指定的二进制文件就是 main.test
。
需要注意的是,Profiling 一般和性能测试一起使用,这个原因在前文也提到过,只有应用在负载高的情况下 Profiling 才有意义。
相关链接:
https://cizixs.com/2017/09/11/profiling-golang-program/
https://darjun.github.io/2021/06/09/youdontknowgo/pprof/
https://pkg.go.dev/net/http/pprof
https://go.dev/blog/pprof
https://www.cnblogs.com/qcrao-2018/p/11832732.html
https://segmentfault.com/a/1190000016412013