火焰图(Flame Graphs)
一、概述:
火焰图(flame graph)是性能分析的利器,通过它可以快速定位性能瓶颈点。
perf 命令(performance 的缩写)是 Linux 系统原生提供的性能分析工具,会返回 CPU 正在执行的函数名以及调用栈(stack)。
本文介绍它的安装和基本用法。
二、安装perf和可视化生成器
# yum install perf -y //yum方式安装perf
# git clone https://github.com/brendangregg/FlameGraph.git //选择好火焰图文件存放路径后执行该条命令,从github上获取火焰图的相关文件,获取完成后会有一个FlameGraph的文件夹,如下图
说明:打开文件夹,里面大部分是perf语言写的脚本,生成火焰图后续会用到,如下图,右图为各pl文件用途释义
到此,安装完成。
三、perf 采集数据
# perf record -F 99 -a -g -- sleep 60 //对CPU所有进程以99Hz采集,它的执行频率是 99Hz(每秒99次),如果99次都返回同一个函数名,那就说明 CPU 这一秒钟都在执行同一个函数,可能存在性能问题。执行60秒后会弹出如下图提示表示采集完成,在当前目录会生成一个perf.data的文件
# perf record -F 99 -p 181 -g -- sleep 60 //对进程ID为181的进程进行采集,采集时间为60秒,执行期间不要退出
上述代码中perf record
表示记录,
-F 99
表示每秒99次,
-p 13204
是进程号,即对哪个进程进行分析,
-g
表示记录调用栈,
sleep 30
则是持续30秒,-a 表示记录所有cpu调用。更多参数可以执行
上述代码中perf record
-F 99
-p 13204
-g
sleep 30
perf --help查看。
perf.data文件生成后,表示采集完成。最好是在火焰图的目录下进行采集,方便转换成SVG图形。
四、生成火焰图
# perf script -i perf.data &> perf.unfold //生成脚本文件
# ./FlameGraph/stackcollapse-perf.pl perf.unfold &> perf.folded
# ./FlameGraph/flamegraph.pl perf.folded > perf.svg //执行完成后生成perf.svg图片,可以下载到本地,用浏览器打开 perf.svg,如下图
五、火焰图的含义
火焰图是基于 perf 结果产生的 SVG 图片,用来展示 CPU 的调用栈。
y 轴表示调用栈,每一层都是一个函数。调用栈越深,火焰就越高,顶部就是正在执行的函数,下方都是它的父函数。
x 轴表示抽样数,如果一个函数在 x 轴占据的宽度越宽,就表示它被抽到的次数多,即执行的时间长。注意,x 轴不代表时间,而是所有的调用栈合并后,按字母顺序排列的。
火焰图就是看顶层的哪个函数占据的宽度最大。只要有"平顶"(plateaus),就表示该函数可能存在性能问题。
颜色没有特殊含义,因为火焰图表示的是 CPU 的繁忙程度,所以一般选择暖色调。
六、互动性
火焰图是 SVG 图片,可以与用户互动。
(1)鼠标悬浮
火焰的每一层都会标注函数名,鼠标悬浮时会显示完整的函数名、抽样抽中的次数、占据总抽样次数的百分比。下面是一个例子。
mysqld'JOIN::exec (272,959 samples, 78.34 percent)
(2)点击放大
在某一层点击,火焰图会水平放大,该层会占据所有宽度,显示详细信息。
左上角会同时显示"Reset Zoom",点击该链接,图片就会恢复原样。
(3)搜索
按下 Ctrl + F 会显示一个搜索框,用户可以输入关键词或正则表达式,所有符合条件的函数名会高亮显示。
七、火焰图示例
下面是一个简化的火焰图例子。
首先,CPU 抽样得到了三个调用栈。
func_c func_b func_a start_thread func_d func_a start_thread func_d func_a start_thread
上面代码中,start_thread
是启动线程,调用了func_a
。后者又调用了func_b
和func_d
,而func_b
又调用了func_c
。
经过合并处理后,得到了下面的结果,即存在两个调用栈,第一个调用栈抽中1次,第二个抽中2次。
start_thread;func_a;func_b;func_c 1 start_thread;func_a;func_d 2
有了这个调用栈统计,火焰图工具就能生成 SVG 图片。
上面图片中,最顶层的函数g()
占用 CPU 时间最多。d()
的宽度最大,但是它直接耗用 CPU 的部分很少。b()
和c()
没有直接消耗 CPU。因此,如果要调查性能问题,首先应该调查g()
,其次是i()
。
另外,从图中可知a()
有两个分支b()
和h()
,这表明a()
里面可能有一个条件语句,而b()
分支消耗的 CPU 大大高于h()
。
八、局限
两种情况下,无法画出火焰图,需要修正系统行为。
(1)调用栈不完整
当调用栈过深时,某些系统只返回前面的一部分(比如前10层)。
(2)函数名缺失
有些函数没有名字,编译器只用内存地址来表示(比如匿名函数)。
九、常见应用的火焰图
Node 应用的火焰图
Node 应用的火焰图就是对 Node 进程进行性能抽样,与其他应用的操作是一样的。
$ perf record -F 99 -p `pgrep -n node` -g -- sleep 30
详细的操作可以看这篇文章。
Chrome 浏览器的火焰图
Chrome 浏览器可以生成页面脚本的火焰图,用来进行 CPU 分析。
打开开发者工具,切换到 Performance 面板。然后,点击"录制"按钮,开始记录数据。这时,可以在页面进行各种操作,然后停止"录制"。
这时,开发者工具会显示一个时间轴。它的下方就是火焰图。
浏览器的火焰图与标准火焰图有两点差异:它是倒置的(即调用栈最顶端的函数在最下方);x 轴是时间轴,而不是抽样次数。
参考资料:
https://github.com/brendangregg/FlameGraph
http://www.brendangregg.com/flamegraphs.html
https://www.jianshu.com/p/492218c163d9
http://www.ruanyifeng.com/blog/2017/09/flame-graph.html
perf record -F 10000 -t 12345 -g --call-graph lbr