性能分析工具-火焰图

火焰图简介

火焰图能做什么：
● 可以分析函数执行的频繁程度
● 可以分析哪些函数经常阻塞
● 可以分析哪些函数频繁分配内存
以分析程序的性能瓶颈。

火焰图整个图形看起来就像一个跳动的火焰，这就是它名字的由来。
火焰图有以下特征（这里以 on-cpu 火焰图为例）：
● 每一列代表一个调用栈，每一个格子代表一个函数
● 纵轴展示了栈的深度，按照调用关系从下到上排列。最顶上格子代表采样时，正在占用 cpu 的函数。
● 横轴的意义是指：火焰图将采集的多个调用栈信息，通过按字母横向排序的方式将众多信息聚合在一起。需要注意的是它并不代表时间。
● 横轴格子的宽度代表其在采样中出现频率，所以一个格子的宽度越大，说明它是瓶颈原因的可能性就越大。
● 火焰图格子的颜色是随机的暖色调，方便区分各个调用信息。
● 其他的采样方式也可以使用火焰图， on-cpu 火焰图横轴是指 cpu 占用时间，off-cpu 火焰图横轴则代表阻塞时间。
● 采样可以是单线程、多线程、多进程甚至是多 host，进阶用法可以参考附录进阶阅读。

火焰图类型

常见的火焰图类型有 On-CPU，Off-CPU，还有 Memory，Hot/Cold，Differential 等等。它们有各自适合处理的场景。

什么时候使用 On-CPU 火焰图? 什么时候使用 Off-CPU 火焰图呢?

取决于当前的瓶颈到底是什么：
● 如果是 CPU 则使用 On-CPU 火焰图，（先看cpu是不是快到百分百）,
● 如果是 IO 或锁则使用 Off-CPU 火焰图（如果cpu占用率不高，就需要用off-cpu）.
● 如果无法确定, 那么可以通过压测工具来确认：
○ 通过压测工具看看能否让 CPU 使用率趋于饱和, 如果能那么使用 On-CPU 火焰图
○ 如果不管怎么压, CPU 使用率始终上不来, 那么多半说明程序被 IO 或锁卡住了, 此时适合使用 Off-CPU 火焰图.
● 如果还是确认不了, 那么不妨 On-CPU 火焰图和 Off-CPU 火焰图都搞搞, 正常情况下它们的差异会比较大, 如果两张火焰图长得差不多, 那么通常认为 CPU 被其它进程抢占了.

火焰图分析技巧

1. 纵轴代表调用栈的深度（栈桢数），用于表示函数间调用关系：下面的函数是上面函数的父函数。
2. 横轴代表调用频次，一个格子的宽度越大，越说明其可能是瓶颈原因。
3. 不同类型火焰图适合优化的场景不同，比如 on-cpu 火焰图适合分析 cpu 占用高的问题函数，off-cpu 火焰图适合解决阻塞和锁抢占问题。
4. 无意义的事情：横向先后顺序是为了聚合，跟函数间依赖或调用关系无关；火焰图各种颜色是为方便区分，本身不具有特殊含义
5. 多练习：进行性能优化有意识的使用火焰图的方式进行性能调优（如果时间充裕

Brendan D. Gregg 的 Flame Graph 工程实现了一套生成火焰图的脚本。Flame Graph 项目位于 GitHub上
https://github.com/brendangregg/FlameGraph

当GitHub网络不通畅的时候可以使用码云的链接：
git clone https://gitee.com/mirrors/FlameGraph.git

用 git 将其 clone下来

生成和创建火焰图需要如下几个步骤
流程 描述 脚本
捕获堆栈 使用 perf/systemtap/dtrace 等工具抓取程序的运行堆栈 perf/systemtap/dtrace
折叠堆栈 trace 工具抓取的系统和程序运行每一时刻的堆栈信息, 需要对他们进行分析组合, 将重复的堆栈累计在一起, 从而体现出负载和关键路径 FlameGraph 中的 stackcollapse 程序
生成火焰图 分析 stackcollapse 输出的堆栈信息生成火焰图 flamegraph.pl

生成火焰图的流程

不同的 trace 工具抓取到的信息不同, 因此 Flame Graph 提供了一系列的 stackcollapse 工具.

查看帮助
./FlameGraph/flamegraph.pl -h
火焰图(flame graph)是性能分析的利器。这里接单介绍一下在Linux环境生成火焰图。

perf命令
Linux 系统原生提供的性能分析工具，会返回 CPU 正在执行的函数名以及调用栈(stack)，如果使用的环境中没有这个命令，首先要安装。

yum -y install perf
数据采样
perf record -F 99 -p -g – sleep 30
pid表示需要采样的进程id，如果是Java进程可以使用jps等命令获取进程id，perf record表示记录，-F 99表示每秒99次，-g表示记录调用栈，sleep 30则是持续30秒

解析数据
使用perf script工具对perf.data进行解析

perf script -i perf.data &> perf.unfold
生成火焰图
需要用到一个工具，项目地址：https://github.com/brendangregg/FlameGraph，如果下载过慢，点击这里下载。

./stackcollapse-perf.pl perf.unfold > perf.folded //生成折叠后的调用栈
./flamegraph.pl perf.folded > out.svg //生成火焰图

解析火焰图

火焰图是基于 stack 信息生成的 SVG 图片, 用来展示 CPU 的调用栈。

● y 轴表示调用栈, 每一层都是一个函数. 调用栈越深, 火焰就越高, 顶部就是正在执行的函数, 下方都是它的父函数.
● x 轴表示抽样数, 如果一个函数在 x 轴占据的宽度越宽, 就表示它被抽到的次数多, 即执行的时间长. 注意, x 轴不代表时间, 而是所有的调用栈合并后, 按字母顺序排列的.
● 火焰图就是看顶层的哪个函数占据的宽度最大. 只要有 “平顶”(plateaus), 就表示该函数可能存在性能问题。
● 颜色没有特殊含义, 因为火焰图表示的是 CPU 的繁忙程度, 所以一般选择暖色调.

互动性

（1）鼠标悬浮
火焰的每一层都会标注函数名，鼠标悬浮时会显示完整的函数名、抽样抽中的次数、占据总抽样次数的百分比。下面是一个例子。
mysqld’JOIN::exec (272,959 samples, 78.34 percent)
off-cpu是否也是如此？

（2）点击放大
在某一层点击，火焰图会水平放大，该层会占据所有宽度，显示详细信息。

左上角会同时显示"Reset Zoom"，点击该链接，图片就会恢复原样。

（3）搜索
按下 Ctrl + F 会显示一个搜索框，用户可以输入关键词或正则表达式，所有符合条件的函数名会高亮显示。

火焰图示例

下面是ngx的火焰图