系统级性能分析工具-Perf

从2.6.31内核开始，linux内核自带了一个性能分析工具perf，能够进行函数级与指令级的热点查找。

perf

Perf是内置于Linux内核源码树中的性能剖析(profiling)工具。它基于事件采样原理，以性能事件为基础，支持针对处理器相关性能指标与操作系统相关性能指标的性能剖析。常用于性能瓶颈的查找与热点代码的定位。
　　CPU周期(cpu-cycles)是默认的性能事件，所谓的CPU周期是指CPU所能识别的最小时间单元，通常为亿分之几秒，是CPU执行最简单的指令时所需要的时间，例如读取寄存器中的内容，也叫做clock tick。 Perf是一个包含22种子工具的工具集，以下是最常用的3种：
　　perf-list
　　perf-stat
　　perf-top

perf-list

Perf-list用来查看perf所支持的性能事件，有软件的也有硬件的。
　　Perf-list用来查看perf所支持的性能事件，有软件的也有硬件的。
　　List all symbolic event types.perf list [hw | sw | cache | tracepoint | event_glob]

(1) 性能事件的分布

hw：Hardware event，9个
　　sw：Software event，9个
　　cache：Hardware cache event，26个
　　tracepoint：Tracepoint event，775个
　　sw实际上是内核的计数器，与硬件无关。
　　hw和cache是CPU架构相关的，依赖于具体硬件。
　　tracepoint是基于内核的ftrace，主线2.6.3x以上的内核版本才支持。

(2) 指定性能事件(以它的属性)

-e : u // userspace
　　-e : k // kernel
　　-e : h // hypervisor
　　-e : G // guest counting (in KVM guests)
　　-e : H // host counting (not in KVM guests)

(3) 使用例子

显示内核和模块中，消耗最多CPU周期的函数：
# perf top -e cycles:k
显示分配高速缓存最多的函数：

 # perf top -e kmem:kmem_cache_alloc 

perf-top

对于一个指定的性能事件(默认是CPU周期)，显示消耗最多的函数或指令。

  System profiling tool.
  Generates and displays a performance counter profile in real time.
  perf top [-e <EVENT> | --event=EVENT] [<options>] 

perf top主要用于实时分析各个函数在某个性能事件上的热度，能够快速的定位热点函数，包括应用程序函数、模块函数与内核函数，甚至能够定位到热点指令。默认的性能事件为cpu cycles。

(1) 输出格式

 # perf top

 Samples: 1M of event 'cycles', Event count (approx.): 73891391490
5.44% perf [.] 0x0000000000023256 
4.86% [kernel] [k] _spin_lock 
2.43% [kernel] [k] _spin_lock_bh 
2.29% [kernel] [k] _spin_lock_irqsave 
1.77% [kernel] [k] __d_lookup 
1.55% libc-2.12.so [.] __strcmp_sse42 
1.43% nginx [.] ngx_vslprintf 
1.37% [kernel] [k] tcp_poll

第一列符号号引发的性能事件的比例，默认指占用的cpu周期比例。
第二列：符号所在的DSO(Dynamic Shared Object)，可以是应用程序、内核、动态链接库、模块。
第三列：DSO的类型。[.]表示此符号属于用户态的ELF文件，包括可执行文件与动态链接库)。[k]表述此符号属于内核或模块。第四列：符号名。有些符号不能解析为函数名，只能用地址表示。

(2) 常用交互命令

h：显示帮助
　　UP/DOWN/PGUP/PGDN/SPACE：上下和翻页。
a：annotate current symbol，注解当前符号。能够给出汇编语言的注解，给出各条指令的采样率。
d：过滤掉所有不属于此DSO的符号。非常方便查看同一类别的符号。
P：将当前信息保存到perf.hist.N中。

(3) 常用命令行参数

-e ：指明要分析的性能事件。
-p ：Profile events on existing Process ID (comma sperated list). 仅分析目标进程及其创建的线程。
-k ：Path to vmlinux. Required for annotation functionality. 带符号表的内核映像所在的路径。
-K：不显示属于内核或模块的符号。
-U：不显示属于用户态程序的符号。
-d ：界面的刷新周期，默认为2s，因为perf top默认每2s从mmap的内存区域读取一次性能数据。
-G：得到函数的调用关系图。
perf top -G [fractal]，路径概率为相对值，加起来为100%，调用顺序为从下往上。
perf top -G graph，路径概率为绝对值，加起来为该函数的热度。

(4) 使用例子

# perf top // 默认配置
# perf top -G // 得到调用关系图
# perf top -e cycles // 指定性能事件
# perf top -p 23015,32476 // 查看这两个进程的cpu cycles使用情况
# perf top -s comm,pid,symbol // 显示调用symbol的进程名和进程号
# perf top --comms nginx,top // 仅显示属于指定进程的符号
# perf top --symbols kfree // 仅显示指定的符号 

perf-stat

用于分析指定程序的性能概况。

(1) 输出格式

#perf stat ls

Performance counter stats for ‘ls’:
0.653782 task-clock # 0.691 CPUs utilized
0 context-switches # 0.000 K/sec
0 CPU-migrations # 0.000 K/sec
247 page-faults # 0.378 M/sec
1,625,426 cycles # 2.486 GHz
1,050,293 stalled-cycles-frontend # 64.62% frontend cycles idle
838,781 stalled-cycles-backend # 51.60% backend cycles idle
1,055,735 instructions # 0.65 insns per cycle
#0.99 stalled cycles per insn
210,587 branches # 322.106 M/sec
10,809 branch-misses # 5.13% of all branches
0.000945883 seconds time elapsed

输出包括ls的执行时间，以及10个性能事件的统计。
task-clock：任务真正占用的处理器时间，单位为ms。CPUs utilized = task-clock / time elapsed，CPU的占用率。c
ontext-switches：上下文的切换次数。
CPU-migrations：处理器迁移次数。Linux为了维持多个处理器的负载均衡，在特定条件下会将某个任务从一个CPU迁移到另一个CPU。
page-faults：缺页异常的次数。当应用程序请求的页面尚未建立、请求的页面不在内存中，或者请求的页面虽然在内存中，但物理地址和虚拟地址的映射关系尚未建立时，都会触发一次缺页异常。另外TLB不命中，页面访问权限不匹配等情况也会触发缺页异常。
cycles：消耗的处理器周期数。如果把被ls使用的cpu cycles看成是一个处理器的，那么它的主频为2.486GHz。可以用cycles / task-clock算出。
instructions：执行了多少条指令。IPC为平均每个cpu cycle执行了多少条指令。
branches：遇到的分支指令数。
branch-misses是预测错误的分支指令数。

(2) 常用参数

-p：stat events on existing process id (comma separated list). 仅分析目标进程及其创建的线程。
-a：system-wide collection from all CPUs. 从所有CPU上收集性能数据。
-r：repeat command and print average + stddev (max: 100). 重复执行命令求平均。
-C：Count only on the list of CPUs provided (comma separated list), 从指定CPU上收集性能数据。
-v：be more verbose (show counter open errors, etc), 显示更多性能数据。
-n：null run - don’t start any counters，只显示任务的执行时间 。
-x SEP：指定输出列的分隔符。
-o file：指定输出文件，
-append: 指定追加模式。
-pre ：执行目标程序前先执行的程序。
-post ：执行目标程序后再执行的程序。

(3) 使用例子

执行10次程序，给出标准偏差与期望的比值：

 #perf stat -r 10 ls > /dev/null

显示更详细的信息：

 #perf stat -v ls > /dev/null

只显示任务执行时间，不显示性能计数器：

 #perf stat -n ls > /dev/null

单独给出每个CPU上的信息：

 #perf stat -a -A ls > /dev/null

ls命令执行了多少次系统调用：

 #perf stat -e syscalls:sys_enter ls