Golang性能分析

已于 2024-01-25 21:15:54 修改
阅读量1k 收藏 3
点赞数
分类专栏： Golang笔记 文章标签： golang pprof
于 2023-02-05 22:33:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34562093/article/details/128894472
版权

一、通过pprof实时分析

性能分析的场景主要有CPU、Memory、IO、Goroutine、死锁几种

1、两种类型的应用

（1）服务型应用 _ "net/http/pprof" 包，专用于采集 web 服务 运行数据的分析。即在运行的服务中通过 API 调用取数据。服务型应用场景中因为应用要一直提供服务。所以 pprof 是通过 API 访问来获取，pprof 使用了默认的 http.DefaultServeMux 挂在这些 API 接口。开发者也可以手动注册路由规则挂载 API，如 r.HandleFunc("/debug/pprof/debugopen", openFunc)

（2）工具型应用 "runtime/pprof" 包，专用于采集 应用程序 运行数据的分析。通过代码手动添加收集命令。工具性应用是一个提供特定功能使用的工具，使用完就会退出进程的应用。开发者手动控制把 profile 文件保存到报告文件中。封装的接口可以调用，如要进行 CPU Profiling，则调用 pprof.StartCPUProfile(w io.Writer) 写入到 w 中，停止时调用 StopCPUProfile()；要获取内存数据，直接使用 pprof.WriteHeapProfile(w io.Writer) 函数则可。

2、功能介绍

CPU 分析（profile）: 每秒采集99次

内存分配（allocs）: 堆栈等空间上的内存分配采样，每分配512K字节时取样一次

阻塞（block）: 堆栈跟踪导致阻塞的同步原语

命令行调用（cmdline）: 命令行调用的程序

goroutine: 当前 goroutine 的堆栈信息

堆（heap）: 堆上内存分配的抽样，每分配512K字节时取样一次

互斥锁（mutex）: 堆栈跟踪竞争状态互斥锁的持有者

系统线程的创建（threadcreate）: 堆栈跟踪系统新线程的创建

trace: 追踪当前程序的执行状况. 你可以用 seconds 参数指定抽样持续时间. 你获取到 trace 概览后可以用 go tool trace命令调查这个 trace

3、下载pprof文件

curl -o cpu_profile http://127.0.0.1:8888/debug/pprof/profile?seconds=60 || http://127.0.0.1:8888/debug/pprof/heap?seconds=60 ||http://127.0.0.1:8888/debug/pprof/allocs?seconds=60 || http://127.0.0.1:8888/debug/pprof/block || http://127.0.0.1:8888/debug/pprof/groutines?seconds=60

kubectl cp <ns-name>/<pod_name>:cpu_profile /root/fourier/tmp/cpu_profile

go tool pprof /root/fourier/tmp/cpu_profile

go tool pprof -http :8888 cpu_profile

注意：go tool 与生成pprof的go版本应一致，否则可能报错 unrecognized profile format

4、命令行工具，即go tool pprof工具

go tool pprof [文件或链接]

go tool pprof http://127.0.0.1:8081/debug/pprof/allocs

go tool pprof http://127.0.0.1:8081/debug/pprof/profile?seconds=60

go tool pprof C:\Users\fourier\Downloads\profile

go tool pprof http://localhost:6060/debug/pprof/heap

（1）top命令

top 5

flat: 在给定函数上运行耗时

flat%: 在给定函数上运行耗时总比例

sum%: 给定函数 累计 使用 CPU 总比例

cum: 当前函数 以及包含子函数 的调用运行总耗时

cum%: 同上的 CPU 运行耗时总比例

最后一列为函数名称，详细见后续指标介绍

（2）list命令

list [funcName]

list `*$ 查看所有函数

（3）查看堆情况


$ go tool pprof http://localhost:6060/debug/pprof/heap
Fetching profile over HTTP from http://localhost:6060/debug/pprof/heap
Saved profile in /Users/eddycjy/pprof/pprof.alloc_objects.alloc_space.inuse_objects.inuse_space.008.pb.gz
Type: inuse_space
Entering interactive mode (type "help" for commands, "o" for options)
(pprof) top
Showing nodes accounting for 837.48MB, 100% of 837.48MB total
      flat  flat%   sum%        cum   cum%
  837.48MB   100%   100%   837.48MB   100%  main.main.func1

-inuse_space：分析应用程序的常驻内存占用情况

-alloc_objects：分析应用程序的内存临时分配情况

5、web命令及可视化工具

需安装Download | Graphviz，可参考https://www.cnblogs.com/shuodehaoa/p/8667045.html

（1）web UI

go tool pprof -http=:8080 cpu_profile

访问http://127.0.0.1:8080/ui即可看到如下


-VIEW看各种视图
  -Top：主要看占用内存当排名信息
  -Graph：连接图，主要看调用关系图，并且通过框框的粗细、颜色当深浅、线的实虚、以及数字信息包括执行时间和占比
  -FlameGraph：火焰图，要看宽度和深度，heap中宽度表明内存占用大小，
  -Peek
  -Source
  -Disassemble
-SAMPLE：采样信息，包括申请对象、申请空间、占用对象、占用空间的信息
-REFINE：可以精细化视图中的信息
  -Focus：聚焦在选中元素的上下游元素
  -Ignore：忽略选中当元素，包含其后继元素
  -Hide：隐藏选中当元素，但不会隐藏其后继元素
  -Show：只显示选中的元素，不包含后继元素
  -Showfrom：从选中当某一个元素开始，只列出其后继元素
-CONFIG：能将当前已精细化的页面保存起来

（2）理解指标

flat 表示样本中当前函数占用的CPU时间，cum表示当前函数以及当前函数调用其他函数的时间，sum表示当前函数flat及其调用函数的flat之和。

具体理解为：flat只包含当前函数的栈帧信息，不包括其调用函数的栈帧信息。cum字段既包括当前函数的栈帧信息，也包括其调用函数的栈帧信息，flat%和cum%分别表示flat和cum字段占总字段的百分比。

flat可以让我们知道哪个函数耗时多，而cum可以帮助我们找到是哪些函数调用了这些耗时的（flat值大的）函数。对于内存也是一样的。

（3）CPU连接图

web [funcName] 查看函数的连接图

go tool pprof -web C:\Users\fourier\Downloads\profile 查看连接图

节点越大，其flat和flat%越大；

节点的颜色越红，其cum和cum%越大；

线条代表了函数的调用链，线条越粗，代表指向的函数消耗了越多的资源。反之亦然。

线条的样式代表了调用关系：实线代表直接调用；虚线代表中间少了几个节点；带有inline字段表示该函数被内联进了调用方（不用在意，可以理解成实线）。

对于一些代码行比较少的函数，编译器倾向于将它们在编译期展开从而消除函数调用，这种行为就是内联。

连接图中的性能问题一般在最红最粗的线。

（4）CPU火焰图

  • 火焰图的Y 轴表示调用栈，调用顺序是从上到下（有些是从下到上，如火焰一般），每一块都是一个函数，越大代表占用 CPU 时间越长。调用栈越深，火焰就越高，顶部就是正在执行的函数，下方都是它的父函数。

  • 火焰图的X 轴表示抽样数，如果一个函数在 x 轴占据的宽度越宽，就表示它被抽到的次数多，即执行的时间长，通常执行频率是 99Hz（每秒99次），如果99次都返回同一个函数名，那就说明 CPU 这一秒钟都在执行同一个函数，可能存在性能问题。注意，x 轴不代表时间，而是所有的调用栈合并后，按字母顺序排列的。

  • 一般采样记录信息有三个参数：采样的进程号、采样的频率（每秒采样多少次，通常 99 次）、采样持续时间

  • 火焰图的颜色表示 CPU 的繁忙程度。

  • 火焰图主要看顶层的哪个函数占据的宽度最大。有"平顶"（plateaus）则表示该函数可能存在性能问题。但是直接观察"平顶"（plateaus）往往不能快速定位性能问题，因为顶部记录的大多是对底层库函数的调用情况。要快速定位性能问题，首先应该观察业务函数在火焰图中的宽度，然后再往顶部找到第一个库函数来缩小范围，而不是直接看平顶。

  • 火焰图的横向长度表示cum，相比下面超出的一截代表flat

（5）内存连接图

-alloc_objects：从程序运行开始申请分配的对象数，不管回收

-alloc_space：从程序运行开始申请分配的内存大小，不管回收

-inuse_objects：采样时间内分配或释放的对象数

-inuse_space：采样时间内分配或释放的内存

6、参考

一次Go服务可用性抖动的问题排查

https://www.cnblogs.com/qcrao-2018/p/11832732.html

分析Go程序的Off-CPU性能

瞬间高并发，goroutine执行结束后的资源占用问题

二、通过core dump在程序crash时自动dump

1、通过ulimit -a查看是否开启了core file，如果是0表示未开启

2、环境变量 GOTRACEBACK设置为crash

export GOBACTRACE=crash

3、设置core dump的路径

查看core dump的路径

cat /proc/sys/kernel/core_pattern

修改core dump的生成路径

 echo '/home/wangtian/coredump_file/core.%e-%p-%s' > /proc/sys/kernel/core_pattern

4、通过delve分析dump内容

傅里叶、
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
golang 性能分析(pprof)
firefly
02-29 5327
性能分析 从业务目标角度，通常我们的瓶颈出现在业务的通量和时延两个问题上 比如一个MySQL数据库，你从其他机器上对它发请求，每秒它能处理10万个请求，这个就是通量性能；每个请求的反应时间是0.5ms，这个就是时延性能 通量和时延是相互相承的两个量，当通量达到系统上限，时延就会大幅提高 一般而言，性能分析主要关注 CPU、内存、磁盘 IO、网络这些指标 runtime/pprof 适用...
Golang性能分析神器：pprof与火焰图实战揭秘
成长之路
02-24 1887
在软件开发的世界里，性能分析如同一把锋利的剑，它能帮助开发者洞悉程序的运行状态，发现并解决那些隐藏在代码深处的性能瓶颈。而在Go语言的生态系统中，pprof无疑是这把剑中的佼佼者。本文将带你深入了解pprof的使用方法，并通过火焰图这一直观的工具，让你对性能分析有一个全新的认识。
2024年最新Golang性能分析神器：pprof与火焰图实战揭秘_golang 火焰图，如果不想35岁被淘汰这篇文章必看
最新发布
2401_84924721的博客
05-11 813
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新如果你需要这些资料，可以戳这里获取[外链图片转存中…(img-CaZqTt3I-1715413490789)]既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Go语言开发知识点，真正体系化！
golang性能分析工具pprof介绍
技术控的笔记
09-09 5874
profile在计算机领域，我们可以将其理解为当前应用程序运行状态的画像。当程序性能不佳时，我们希望知道应用在 什么地方耗费了多少 CPU、memory等资源，golang是非常注重性能的语言，其内置的pprof就是为了分析调优程序运行性能而生。CPU profile：当前程序的CPU使用情况，pprof按照一定频率去采集应用程序在CPU和寄存器上面的数据Memory Profile（Heap Profile）：当前程序的内存使用情况，可查看heap和alloc的情况。
golang性能分析之trace
猛犸象
07-15 1824
golang性能分析之trace
golang性能分析发现工具pprof
weixin_45653474的博客
12-12 391
pprof是Go官方提供的性能分析工具，可以分析程序的运行情况，并且提供可视化的功能。从main函数中引用包 _ "net/http/pprof" 创建新的协程来启动pprof服务 启动服务访问协程定义的6060端口 debug/pprof localhost:6060/debug/pprof打开命令行工具 输入go 自带的go tool命令go tool pprof + 复制分析模块链接 进入交互通过top +num 来查看占用最多的几条通过 list 加关键信息查看具体情况下载网
一、Golang性能分析工具
wanhex的博客
02-26 1301
准备工作 安装graphviz Go语言的内置工具可以借助graphviz软件将性能分析结果图形化。 OS X和Ubuntu可以直接使用brew和apt-get install graphviz Windows用户可以下载zip包，然后将解压后的目录添加Path环境变量中。 下载地址：http://www.graphviz.org/download/ 将$GOPATH/bin目录添加到Path环境...
golang服务器性能指标,Golang性能分析
weixin_31572189的博客
08-11 1337
[TOC]Golang性能分析pprofweb查看必备工具brew install graphvizsudo apt install graphvizsudo yum install graphviz# 验证是否安装成功dot -version执行时间分析net/http/pprofpackage mainimport ("log""net/http"_ "net/http/pprof" //在初...
golang程序性能分析
翔云
06-27 4003
pprof和trace 是golang程序性能分析中经常用到的两个工具。 本文简单介绍其使用方法。 1.程序中引入pprof package 对于长期运行的的后台程序来说，使用package net/http/pprof 是比较便捷的选择。 使用方法非常简单，只要import package的地方加上： import _ "net/http/pprof" 就可以使用提供的接口包括： "/debug/pprof/" "/debug/pprof/cmdline" "/debug/pprof/profile"
golang性能分析 pprof
Zsd
10-09 80
golang 性能分析
error: goland --build constraints exclude all Go files
fourierr的博客
08-17 7477
首先，//+build将逐渐取代//go:build，在Go Version1.16-1.18作为过渡期，两种注释都可以使用。参见官网https://www.jetbrains.com/help/go/configuring-build-constraints-and-vendoring.html 但是在1.16以下的版本不能使用//+build，若使用便会报错error: goland --build constraints exclude all Go files。 1.16以下版本应使用//go:
Golang之slice操作
fourierr的博客
11-07 6372
1、创建 一般使用make创建，make([]string,0) var s []int或s:=new([]int) //nil切片， 切片是nil，即Slice内的指针是nil var t = []int{}或var u = make([]int, 0) //空切片，Slice内的指针指向长度为0的底层数组 var u = make([]int, 3) //3个内部元素是零值 2、追加 append时会首先使用可用容量cap部分，如果cap不够扩容就会分配一个新的底层数
golang之iota
fourierr的博客
08-22 5667
iota是一个常量计数器，只能在常量的表达式中使用，iota可理解为const语句块中的行索引。 1、iota声明的常量默认会自增1； const ( one = iota two three four five ) func main() { fmt.Println(one) fmt.Println(two) fmt.Println(three) fmt.Println(four) fmt.Println(five) } output: 0 1 2 3 4 const (
Golang三方库
fourierr的博客
11-18 2710
github.com/fatih/structs：结构的的操作，转map[string]interface{}、判断零值等
GORM的简单理解
fourierr的博客
07-17 2467
1、GORM是一种对象关系映射ORM框架，数据表对应结构体，数据行对应结构体实例，数据库字段对应结构体字段。 在gorm中，表名默认就是结构体名称的复数，也可以通过方法或者db.Table("表名")自定义表名； 列名由两个单词组成，在数据库中默认转小写后用下划线链接； 如果结构体有ID字段则默认ID字段为主键。 2、另外，GORM内置了一个gorm.Model结构体。gorm.Model是一个包含了ID, CreatedAt, UpdatedAt, DeletedA...
Golang之Ginkgo、Gomega测试框架
fourierr的博客
03-06 2463
Ginkgo、Gomega测试框架
Golang之gjson
fourierr的博客
10-28 2339
gjson主要用于从string和[]byte里取json数据。 对于interfacele{}类型，要先强制转换为[]byte或string再用gjson，其实单层json下不如直接强转为map，多层考虑用gjson。 import "fmt" import "github.com/tidwall/gjson" const json = `{"name":[{"first":"Janet","last":"Prichard"}, {"abc": 1, "e" : 2}],"age":47
fmt.Println、fmt.Printf、fmt.Sprintf、fmt.Sprintln
fourierr的博客
07-20 2136
fmt包实现了格式化的I/O。 1、fmt.Println: 用默认的类型格式将传入的参数写到标准输出 参数;字符串和变量之间用逗号间隔， 输出：用空格间隔 2、fmt.Printf： 用占位符将传入的变量写到标准输出 输入：占位符，变量 输出 3、fmt.Sprintf： 用占位符将传入的变量返回为字符串，不会在终端显示； name := "fourier" gender := "male" fmt.Println("name:",name,"gender:",gender) //name: fo.
如何用golang分析磁盘实时性能
02-17
要分析磁盘的实时性能，可以使用Golang中的os/diskusage和syscall/sysinfo包。以下是使用这些包来分析磁盘实时性能的基本步骤： 1. 导入必要的包： ```go import ( "fmt" "os" "syscall" ) ``` 2. 使用os/diskusage包来获取磁盘使用情况： ```go func getDiskUsage(path string) (available uint64, total uint64, used uint64, err error) { fs := syscall.Statfs_t{} err = syscall.Statfs(path, &fs) if err != nil { return } available = fs.Bavail * uint64(fs.Bsize) total = fs.Blocks * uint64(fs.Bsize) used = total - available return } ``` 3. 使用syscall/sysinfo包来获取系统的负载情况： ```go func getSystemLoad() (loadavg [3]float64, err error) { var s syscall.Sysinfo_t if err = syscall.Sysinfo(&s); err != nil { return } uptime := float64(s.Uptime) loadavg[0] = float64(s.Loads[0]) / (1 << 16) loadavg[1] = float64(s.Loads[1]) / (1 << 16) loadavg[2] = float64(s.Loads[2]) / (1 << 16) return } ``` 4. 编写主函数来定期获取磁盘和系统的使用情况，并输出到控制台： ```go func main() { // 磁盘路径 path := "/" // 定期获取磁盘使用情况和系统负载 for { available, total, used, err := getDiskUsage(path) if err != nil { fmt.Println("Error:", err) } else { fmt.Printf("Disk usage: %d / %d (%d%%)\n", used, total, 100*used/total) } loadavg, err := getSystemLoad() if err != nil { fmt.Println("Error:", err) } else { fmt.Printf("System load average: %.2f, %.2f, %.2f\n", loadavg[0], loadavg[1], loadavg[2]) } // 休眠5秒 time.Sleep(5 * time.Second) } } ``` 这样，你就可以使用以上代码来定期获取磁盘和系统的使用情况，并进行分析和优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值