oProfile的安装与使用

最新推荐文章于 2021-05-15 11:51:24 发布

zhnlion

最新推荐文章于 2021-05-15 11:51:24 发布

阅读量1.8k

点赞数

分类专栏：工具文章标签： linux 性能

工具专栏收录该内容

5 篇文章 0 订阅

订阅专栏

0.引言
基于DPDK的发包工具的性能今天已经达到双向1900Wpps了，比昨天又高了200Wpps，正是得益于oProfile检测与调优的结果，而且今天还只是很简单的用了一下（类似于下面的示例），跟踪出对几个结构体字段的访问比较缓慢，于是对结构体字段进行了仔细的顺序调整与Cache对齐（之前急于功能实现，没顾及这些字段的排布），结果性能马上飙升了200Wpps，开心死我了。后天（明天外出办理其它事情）到公司再利用oProfile细细跟踪一下，特别是cache命中、 pipeline阻塞、prefetch预取等，看最终我的发包工具到底能达到什么性能。oProfile很久以前就使用过，亏今晚请假得空再整理一把以作备忘，好工具要恰时使用才算是适得其所，否则岂不有负提供如此佳具的大牛&工程师们。

1.概述
oProfile是用于Linux的若干种评测和性能监控工具中的一种，它可以工作在不同的体系结构上，包括MIPS、ARM、IA32、IA64和AMD。oProfile包含在Linux2.5和更高版本的内核中，也包含在大多数较新的Linux版本中，包括RedHat9。
oProfile是Linux平台上的一个功能强大的性能分析工具，支持两种采样(sampling)方式：基于事件的采样(eventbased)和基于时间的采样(timebased)。
基于事件的采样是oProfile只记录特定事件（比如L2 cache miss）的发生次数，当达到用户设定的定值时oProfile就记录一下（采一个样）。这种方式需要CPU内部有性能计数器(performace counter)。
基于时间的采样是oProfile借助OS时钟中断的机制，每个时钟中断oProfile都会记录一次(采一次样），引入此种采样方式的目的在于提供对没有性能计数器的CPU的支持，其精度相对于基于事件的采样要低。因为要借助OS时钟中断的支持，对禁用中断的代码oProfile不能对其进行分析。
oProfile在Linux上分两部分，一个是内核模块(oprofile.ko)，一个为用户空间的守护进程(oprofiled)。前者负责访问性能计数器或者注册基于时间采样的函数(使用register_timer_hook注册之，使时钟中断处理程序最后执行profile_tick时可以访问之)，并采样置于内核的缓冲区内。后者在后台运行，负责从内核空间收集数据，写入文件。

2.注意事项
1) 不建议在虚拟机里利用oProfile来测试性能，因为虚拟机对oProfile的支持并不好，比如在Vmware虚拟机里不支持性能计数器接口模式：http://oprofile.sourceforge.net/faq/，中断模式的设置为：

# modprobe oprofile timer=1

或

# echo "options oprofile timer=1" >> /etc/modprobe.conf

具体参看：http://oprofile.sourceforge.net/doc/detailed-parameters.html#timer
2) 调式的内核最好是原生内核（Vanilla kernel、香草内核），发行版Linux（比如redhat）自带的内核一般都是经过大量修改的，对oProfile的支持不好。所以，我们最好能从kernel官方网站下载原生源码后自行编译生成新内核，重启机器进行新内核环境后进行性能测试。另外，oProfile需要的是未经压缩的内核镜像，所以/boot目录的vmlinuz-2.x.xx是不能使用的，而需要使用Linux源码编译目录里的未镜像文件，比如/usr/src/linux-2.6.30/vmlinux
3) 内核需打开OPROFILE选项，否则无法运行oProfile：

[root@localhost oprofile-0.9.6]# opcontrol --init
FATAL: Module oprofile not found.
FATAL: Module oprofile not found.
Kernel doesn't support oprofile

需要编辑内核配置文件：

[root@localhost ~]# cd /usr/src/linux-2.6.37.2
[root@localhost linux-2.6.37.2]# vi .config

将其中的# CONFIG_OPROFILE is not set改为CONFIG_OPROFILE=m（或者y）
同时也应确保另外几个配置选项被选中：

CONFIG_PROFILING=y
CONFIG_X86_LOCAL_APIC=y
CONFIG_X86_IO_APIC=y
CONFIG_PCI_IOAPIC=y

然后编译内核重启机器即可。
4) 为了支持新的CPU类型，oProfile的更新会比较频繁，所以在使用oProfile时建议先去http://oprofile.sourceforge.net/news/看看是否有更新版本。

3.系统环境
此本中所有关于oProfile的介绍、测试均在CENTOS 5.4环境下进行，具体如下：

[root@localhost oprofile-0.9.7]# cat /etc/issue
CentOS release 5.4 (Final)
Kernel \r on an \m
[root@localhost oprofile-0.9.7]# uname -a
Linux localhost.localdomain 2.6.37.2 #1 SMP Thu Mar 15 18:32:12 CST 2012 x86_64 x86_64 x86_64 GNU/Linux
[root@localhost oprofile-0.9.7]# gcc --version
gcc (GCC) 4.1.2 20080704 (Red Hat 4.1.2-46)
Copyright (C) 2006 Free Software Foundation, Inc.
This is free software; see the source for copying conditions.  There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

[root@localhost oprofile-0.9.7]# make --version
GNU Make 3.81
Copyright (C) 2006  Free Software Foundation, Inc.
This is free software; see the source for copying conditions.
There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A
PARTICULAR PURPOSE.

This program built for x86_64-redhat-linux-gnu

4.oProfile的安装
oProfile的安装同普通Linux软件安装没有什么两样，照例是configure、make、make install三板斧。由于oProfile依赖的库比较多，如果系统中没有安装某些库则在configure时会给出错误提示，比如当我输入如下命令敲回车后提示：

[root@lenky oprofile-0.9.6]# ./configure --with-kernel-support
…
checking libiberty.h usability... no
checking libiberty.h presence... no
checking for libiberty.h... no
checking for cplus_demangle in -liberty... no
configure: error: liberty library not found

解决该问题的方法是首先从网站http://ftp.gnu.org/gnu/binutils/?C=M;O=D下载binutils包编译安装即可（同样是./configure 、make、make install）。
再configureoProfile：

[root@localhost oprofile-0.9.7]# ./configure --with-kernel-support
…
config.status: executing libtool commands
Warning: QT version 3 was requested but not found. No GUI will be built.

提示没有图形界面，不用管它，直接make编译，我还遇到了这个make错误：

[root@localhost oprofile-0.9.7]# make
…
gcc -shared  .libs/libopagent_la-opagent.o  -lbfd -liberty -ldl -lz  -Wl,--version-script=../libopagent/opagent_symbols.ver -Wl,-soname -Wl,libopagent.so.1 -o .libs/libopagent.so.1.0.0
/usr/local/bin/ld: /usr/local/lib/libbfd.a(archures.o): relocation R_X86_64_32 against `bfd_i386_arch' can not be used when making a shared object; recompile with -fPIC
/usr/local/lib/libbfd.a: could not read symbols: Bad value
collect2: ld returned 1 exit status
make[2]: *** [libopagent.la] Error 1
make[2]: Leaving directory `/home/lenky/oprofile-0.9.6/libopagent'
make[1]: *** [all-recursive] Error 1
make[1]: Leaving directory `/home/lenky/oprofile-0.9.6'
make: *** [all] Error 2

该问题在于没有找到bfd的动态链接库，需要进入binutils 的bfd目录编译获取libbfd.so文件：

[root@localhost bfd]# pwd
/home/lenky/binutils-2.20.1/bfd
[root@localhost bfd]# ./configure --enable-shared
[root@localhost bfd]# make clean
[root@localhost bfd]# make
[root@localhost bfd]# make install

一般，接下来还会遇到libiberty同样的问题，但是libiberty的configure没有提供–enable-shared选项，所以需要我们自己制作so文件，编辑Makefile文件，加上-fPIC编译选项，然后利用make、gcc生成so：

[root@localhost libiberty]# vi Makefile
CFLAGS = -g -O2 -fPIC
[root@localhost libiberty]# make clean
[root@localhost libiberty]# make
[root@localhost libiberty]# gcc -shared *.o -o libiberty.so
[root@localhost bfd]# make install

由于之前编译过，所以注意不要落了make clean对先前编译结果进行清除，否则生成的libiberty.so不完整，要把so库拷贝到正确的系统路径，否则在执行oProfile程序时，可能出现“error while loading shared libraries”的错误信息。
最后再对oProfile进行make、make install即可，以上就是我在Linux 2.6.37.2内核上编译oProfile过程中遇到的问题，虽然摸索清楚后看似不复杂，其实总个过程也浪费了我不少时间。

5.oProfile工具集
安装好的oProfile包含有一系列的工具集，这些工具默认在路径/usr/bin之下，它们分别是：
1) op_help：列出可用的事件，并带有简短的描述。
2) opcontrol：控制oProfile的数据收集。
3) opreport：对结果进行统计输出。
4) opannaotate：产生带注释的源/汇编文件，源语言级的注释需要编译源文件时已加上调试符号信息的支持。
5) opgprof：产生如gprof相似的结果。
6) oparchive：将所有的原始数据文件收集打包，从而可以在另一台机器上进行分析。
7) opimport：将采样的数据库文件从另一种abi外部格式转化为本地格式。

6.oProfile使用小示例
下面是一个完整的小示例，其中multiply是测试程序，在进行gcc编译时加上了-g参数，便于opannotate分析：

[root@localhost test]# cat multiply.c 
/**
 * FileName: multiply.c
 * sh# gcc multiply.c -g -o multiply
 */
 
#include <stdio.h>
int fast_multiply(x,  y) 
{
	return x * y;
}

int slow_multiply(x, y) 
{
	int i, j, z;
	for (i = 0, z = 0; i < x; i++) 
		z = z + y;
	return z;
}

int main(int argc, char *argv[])
{
	int i,j;
	int x,y;
	for (i = 0; i < 200; i ++) {
		for (j = 0; j <  30 ; j++) {
			x = fast_multiply(i, j);
			y = slow_multiply(i, j);
		}
	}
	printf("x=%d, y=%d\n", x, y);
	return 0;
}
[root@localhost test]# gcc multiply.c -g -o multiply
[root@localhost test]# opcontrol --init
[root@localhost test]# opcontrol --vmlinux=/usr/src/linux-2.6.37.2/vmlinux
[root@localhost test]# opcontrol --reset
[root@localhost test]# opcontrol --start
Using default event: CPU_CLK_UNHALTED:100000:0:1:1
Using 2.6+ OProfile kernel interface.
Reading module info.
Using log file /var/lib/oprofile/samples/oprofiled.log
Daemon started.
Profiler running.
[root@localhost test]# ./multiply 
x=5771, y=5771
[root@localhost test]# opcontrol --dump
[root@localhost test]# opcontrol --stop
Stopping profiling.
[root@localhost test]# opcontrol --shutdown
Killing daemon.
[root@localhost test]# opcontrol --deinit
Unloading oprofile module
[root@localhost test]# opannotate --source ./multiply
/* 
 * Command line: opannotate --source ./multiply 
 * 
 * Interpretation of command line:
 * Output annotated source file with samples
 * Output all files
 * 
 * CPU: Intel Architectural Perfmon, speed 1867 MHz (estimated)
 * Counted CPU_CLK_UNHALTED events (Clock cycles when not halted) with a unit mask of 0x00 (No unit mask) count 100000
 */
/* 
 * Total samples for file : "/home/lenky/test/multiply.c"
 * 
 *     39 100.000
 */


               :#include <stdio.h>
               :
               :int fast_multiply(x,  y) 
               :{
               :        return x * y;
               :}
               :int slow_multiply(x, y) 
               :{ /* slow_multiply total:     36 92.3077 */
               :        int i, j, z;
    27 69.2308 :        for (i = 0, z = 0; i < x; i++) 
     8 20.5128 :                z = z + y;
     1  2.5641 :        return z;
               :}
               :int main()
               :{ /* main total:      3  7.6923 */
               :        int i,j;
               :        int x,y;
               :        for (i = 0; i < 200; i ++) {
     2  5.1282 :                for (j = 0; j <  30 ; j++) {
     1  2.5641 :                        x = fast_multiply(i, j);
               :                        y = slow_multiply(i, j);
               :                }
               :        }
               :	printf("x=%d, y=%d\n", x, y);
               :        return 0;
               :}
               :
[root@localhost test]# opreport -l ./multiply
CPU: Intel Architectural Perfmon, speed 1867 MHz (estimated)
Counted CPU_CLK_UNHALTED events (Clock cycles when not halted) with a unit mask of 0x00 (No unit mask) count 100000
samples  %        symbol name
36       92.3077  slow_multiply
3         7.6923  main
[root@localhost test]# opreport 
CPU: Intel Architectural Perfmon, speed 1867 MHz (estimated)
Counted CPU_CLK_UNHALTED events (Clock cycles when not halted) with a unit mask of 0x00 (No unit mask) count 100000
CPU_CLK_UNHALT...|
  samples|      %|
------------------
   438541 99.4447 vmlinux
      921  0.2088 oprofiled
      630  0.1429 libc-2.5.so
      355  0.0805 bash
      342  0.0776 oprofile
       55  0.0125 ld-2.5.so
       39  0.0088 multiply
       21  0.0048 igb
       16  0.0036 ixgbe
       12  0.0027 libpthread-2.5.so
        9  0.0020 irqbalance
        7  0.0016 gawk
        7  0.0016 libglib-2.0.so.0.1200.3
        7  0.0016 libpython2.4.so.1.0
        6  0.0014 sshd
        4 9.1e-04 libcrypto.so.0.9.8e
        3 6.8e-04 grep
        3 6.8e-04 libusb-0.1.so.4.4.4
        2 4.5e-04 ls
        2 4.5e-04 sendmail.sendmail
        1 2.3e-04 cat
        1 2.3e-04 libdbus-1.so.3.4.0
        1 2.3e-04 libgthread-2.0.so.0.1200.3
        1 2.3e-04 libselinux.so.1
        1 2.3e-04 init
        1 2.3e-04 libpopt.so.0.0.0
        1 2.3e-04 _gobject.so
        1 2.3e-04 nmbd
[root@localhost test]#

7.oProfile反复使用以及示例结论
1) 使用oProfile的基本步骤如下所示，其中中间的步骤是经常使用的，前后几个步骤无需重复多次：

opcontrol --init   #加载模块
opcontrol --vmlinux=/usr/src/linux-2.6.37.2/vmlinux  #是否对kernel进行profiling

opcontrol --reset  #清楚当前会话中的数据
opcontrol --start  #开始profiling
./multiply   #运行应用程序，oprofile会对它进行profiling
opcontrol --dump  #把收集到的数据写入文件
opcontrol --stop  #停止profiling

opcontrol --shutdown  #关闭守护进程oprofiled
opcontrol --deinit  #卸载模块

opreport -l -m cpu,lib,tgid -t 0.1 显示占用cpu情况显示占用cpu超过0.1的函数

2) 对于oProfile收集的统计信息，可以使用opreport、opgprof、opannotate这些工具进行分析并获取相关信息，比如从上面的示例中可以看到函数slow_multiply就相对占用了较多的计算时间。

转载请保留地址：http://www.lenky.info/archives/2012/03/1371 或http://lenky.info/?p=1371

zhnlion

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录