程序性能数据采集工具--PAPI

PAPI

PAPI 接口概览
PAPI (Performance Application Programming Interface) 是一组用于访问处理器硬件性能计数器的本地接口，用户可以利用它获得程序运行过程中产生的各种处理器事件的发生次数，进而将这些数据作为评估和分析程序性能的可靠依据，有助于更准确地发现程序性能问题的根源。
不同的处理器会根据自身的体系结构特征定义出不同的处理器事件集合，在 PAPI 中这些事件被称为原生事件（Native Event）。同时，不同的处理器也会具有不同数量的硬件性能计数器，而在任意时刻一个计数器只能对一个指定的原生事件进行监测。考虑到事件监测和性能分析的需求，不同处理器的原生事件集合往往在功能上会有交集（例如那些和存储层次访问、Cache 一致性协议、周期和指令计数、功能单元和流水线状态等方面相关的事件），但是其对应的原生事件名称却未必相同。为了便于事件甄别，PAPI 将这些在不同处理器中存在功能共性的原生事件抽象成了 PAPI 接口专用的预制事件（Preset Event）并统一命名。PAPI 预制事件不仅仅是对单一原生事件的简单映射，根据不同体系结构中原生事件设定的差异，它也可能是由多个原生事件构成，例如记录 L1 Cache 失效次数的 PAPI 预制事件，在某些处理器上实现时就需要依赖 L1 D-Cache 失效次数和 L1 I-Cache 失效次数等两个原生事件的支持。通过定义预制事件，PAPI 接口具有了一定的可移植性，但是对于某些处理器中定义的原生事件集合，PAPI 预制事件可能无法将其完全覆盖。
PAPI 提供了两类接口访问硬件性能计数器：一类是比较简单的高层接口用于完成基本的计数测量，另一类是可编程的底层接口能够满足用户的复杂的监测需求。
PAPI 高层接口提供了一些访问硬件性能计数器所需的基本功能，例如配置计数器、启动计数、停止计数、读取计数器的数值等。高层接口只能利用 PAPI 预制事件，而不能够通过配置计数器去监测超出预制事件覆盖范围以外的处理器原生事件。不过，PAPI 高层接口能够直接返回在程序测评中最经常使用的一些性能指标，例如每个周期执行完成的指令数、每秒执行完成的浮点指令 / 浮点操作数、程序的运行时间等；另外，高层接口还能获取一些系统信息，例如处理器能够支持的硬件性能计数器的个数等。
不同于高层接口只能使 用 PAPI 预制事件，PAPI 底层接口能够直接使用原生事件对程序运行时的处理器硬件行为进行监测。用户可以将一个或多个原生事件组成一个事件组（Event Set），然后通过设置硬件性能计数器对事件组中所有的原生事件同时进行监测，进而根据监测结果分析程序的性能问题，例如通过同时采集每秒执行完成的浮点指令数和 L1 Cache 失效次数就有助于分析是否是因为 L1 Cache 的命中率不高导致了程序浮点性能的下降。需要注意的是，事件组中的原生事件个数不能够超过处理器所能支持的硬件性能计数器个数。
与高层接口相比，PAPI 底层接口的使用更加灵活，能够对处理器事件进行更全面的监测。

1. 安装

• 安装注意事项：
  -VMware虚拟机上有时会出现一些问题，可能是由于虚拟机没有一些硬件的概念，最开始我是选择在虚拟机上安装，但是安装结束以后通过papi_avail查看不到任何可以监测的事件，所以最终换成物理机进行安装；
  -在VMware或者是KVM上安装，官网给出了如下的要求：
  http://icl.cs.utk.edu/projects/papi/wiki/PAPITopics:PAPI_on_Virtualization_Platforms
  需要确保内核中安装了 perfctr 模块，在一些低版本的linux上需要打补丁重新编译内核。Linux 2.6.32及其以上的内核都支持 perf-events, 在支持 perf-events 的内核上 PAPI-4.1.1及其以上的版本 可以得到很好的支持,而不用像之前的老内核一样需要首先给内核安装 perfctr 补丁。
  根据官网的INSTALL.txt提供的针对不同情况给出的安装说明，因为使用的ubuntu的内核版本在linux 2.6.32之上，所以我们选择如下安装方式：
  

1) 到PAPI官网下载papi-5.4.1压缩包。
http://icl.cs.utk.edu/papi/software/index.html

2) 将压缩包拷贝至/usr/local/下并解压，然后进入papi-5.4.1目录下的src目录

3) 测试PAPI
进入src目录并依次执行以下指令。

#  ./configure
#  make
#  make test

如果出现PASSED则是通过测试，可以安装。实际安装时出现如下错误，推测是因为处理器不支持浮点数操作，目前没有找到正确的解决方法，但是忽视这一错误进行后面的安装发现可以完成基本的测试。

#  make fulltest (相当于./run_tests.sh，简单测试，可忽略)
#  ./run_tests.sh -v（详细测试）

仍然出现了一些错误，这不是什么大问题，因为PAPI提供了100多个事件，不同处理器只能支持其中的一个子集，不支持就会跳过“skipped”：

4) 安装PAPI
a) To install PAPI libraries and header files from the build tree:

# make install

b) To install PAPI manual pages from the build tree:

#  make install-man

d) To install all of the above in one step from the build tree:

#  make install-all

papi默认是安装在 /usr/local 下的， papi可执行命令安装在bin下,papi的头文件放在include下,papi的库文件放在lib下，包括静态库libpapi.a，动态库libpapi.so.5.4.1.0,还有share、man目录下也安装了一些东西
5) 由于papi的相关库安装在 /usr/local/lib 下，而我们编译程序链接动态或者静态库时，默认不会再 /usr/local/lib 下查找相关库的，所以为了在编译程序时可以自动链接/usr/local/lib下的papi相关库（例如: gcc ** -lpapi），我们做如下操作：
将 include /usr/local/lib 加入文件 /etc/ld.so.conf 的最后一行，然后执行 ldconfig 命令，在编译时需要加入编译选项 -lpapi，使得程序可以动态链接到相应的函数实现。

2. 使用

a) 支持的性能计数器事件：
PAPI 支持一百多个事件。其标准事件分为 4 类:存储层次访问事件;周期与指令计数;功能部件与流水线状态事件; Cache 一致性事件,与 SMP 系统的 cache 一致性协议相关。
PAPI 包含一个工具程序papi_avail，可以检测用户平台具有哪些事件，在不同的硬件平台上得到的结果也是不同的，如：

此外还有papi_mem_info和papi_cost等命令，用来查看TLB，Cache信息和 查看papi开销等。http://icl.cs.utk.edu/projects/papi/wiki/PAPI3:PAPI.3

b) 接口介绍
表 1. 常用的 PAPI 底层接口
PAPI 底层接口 接口功能简述
PAPI_library_init 初始化 PAPI 接口库
PAPI_create_eventset 创建事件组
PAPI_add_event / PAPI_add_events 向事件组中添加原生事件或者 PAPI 预制事件
PAPI_remove_event / PAPI_remove_events 从事件组中删除事件
PAPI_start 启动计数器对事件组的计数
PAPI_read 读取计数器数值
PAPI_stop 停止计数器计数并读取当前的计数器数值
PAPI_cleanup_eventset 清除事件组中的事件
PAPI_destroy_eventset 销毁事件组
PAPI_shutdown 终止使用 PAPI 并释放所有相关资源
底层接口，高层接口：http://icl.cs.utk.edu/projects/papi/wiki/PAPI3:PAPI.3
c) 测试
使用PAPI需要在源码进行插桩：利用 PAPI 接口监测程序的硬件执行特征
编译执行结果如图所示：

总结：
1. 主要功能：得到硬件级的数据，即与微指令相关的数据，例如L1/L2 cache miss、TLB miss、Cycle
2. 使用方法：在代码中进行插桩，即在源代码中使用PAPI提供的一些函数，自由地获取想要获取的信息，在编译链接时加上-lpapi选项即可
3. 优缺点：监测事件需要插桩，比较耗时耗力，但是使用起来比较自由