#定位系统性能瓶颈# strace & ltrace

strace和ltrace分别对应的是系统调用和库函数调用，

系统调用实际上就是指最底层的一个调用，在linux程序设计里面就是底层调用的意思，面向的是硬件。

而库函数调用则面向的是应用开发的，相当于应用程序的api，常见的lib有openssl、libxml等。

前者属于内核层，后者属于用户层，下面有其层次对应图

引用《UNIX环境高级编程》对这两个概念的区别描述如下：

     另一个可说明系统调用和库函数之间的差别的例子是， U N I X提供决定当前时间和日期的

界面。某些操作系统提供一个系统调用以返回时间，而另一个则返回日期。任何特殊的处理，
例如正常时制和夏时制之间的转换，由内核处理或要求人为干预。U N I X则不同，它只提供一
条系统调用，该系统调用返回国际标准时间1 9 7 0年1月1日零点以来所经过的秒数。对该值的
任何解释，例如将其变换成人们可读的，使用本地时区的时间和日期，都留给用户进程运行。
在标准C库中，提供了若干例程以处理大多数情况。这些库函数处理各种细节，例如各种夏时
制算法。
     应用程序可以调用系统调用或者库函数，而很多库函数则会调用系统调用。这在图1 - 2中
显示。
     系统调用和库函数之间的另一个差别是：系统调用通常提供一种最小界面，而库函数通常
提供比较复杂的功能。我们从s b r k系统调用和m a l l o c库函数之间的差别中可以看
到这一点，在以后当比较不带缓存的I / O函数（见第3章）以及标准I / O函数（见第5章）
时，还将看到这种差别。
     进程控制系统调用（ fork, exec和w a i t）通常由用户的应用程序直接调用（请回忆
程序1 - 5中的基本s h e l l）。但是为了简化某些常见的情况，U N I X系统也提供了一些库
函数；例如s y s t e m和p o p e n。8 . 1 2节将说明s y s t e m函数的一种实现，它使用基本的进
程控制系统调用。1 0 . 1 8节还将强化这一实例以正确地处理信号。
     为使读者了解大多数程序员应用的U N I X系统界面，我们不得不既说明系统调用，只介绍某些库函数。
例如若只说明s b r k系统调用，那么就会忽略很多应用程序使用的m a l l o c库函数。
本书除了必须要区分两者时，都将使用术语函数（ f u n c t i o n）来指代系统调用和库函数两者。

一般来说，进程是不能访问内核的。它不能访问内核所占内存空间也不能调用内核函数。CPU硬件决定了这些（这就是为什么它被称作"保护模式"）。系统调用是这些规则的一个例外。其原理是进程先用适当的值填充寄存器，然后调用一个特殊的指令，这个指令会跳到一个事先定义的内核中的一个位置（当然，这个位置是用户进程可读但是不可写的）。在Intel CPU中，这个由中断0x80实现。硬件知道一旦你跳到这个位置，你就不是在限制模式下运行的用户，而是作为操作系统的内核--所以你就可以为所欲为。
进程可以跳转到的内核位置叫做sysem_call。这个过程检查系统调用号，这个号码告诉内核进程请求哪种服务。然后，它查看系统调用表(sys_call_table)找到所调用的内核函数入口地址。接着，就调用函数，等返回后，做一些系统检查，最后返回到进程（或到其他进程，如果这个进程时间用尽）。如果你希望读这段代码，它在<内核源码目录>/kernel/entry.S，Entry(system_call)的下一行。
为防止和正常的返回值混淆，系统调用并不直接返回错误码，而是将错误码放入一个名为errno的全局变量中。如果一个系统调用失败，你可以读出errno的值来确定问题所在。
errno不同数值所代表的错误消息定义在errno.h中，你也可以通过命令"man 3 errno"来察看它们。
需要注意的是，errno的值只在函数发生错误时设置，如果函数不发生错误，errno的值就无定义，并不会被置为0。另外，在处理errno前最好先把它的值存入另一个变量，因为在错误处理过程中，即使像printf()这样的函数出错时也会改变errno的值。

好吧，理论都说得差不多了，该看看怎么使用strace和ltrace

首先安装直接用命令 

<span style="font-family:Microsoft YaHei;font-size:12px;">yum install strace ltrace</span>

然后我会man一个命令的详细描述，因为man已经写得非常好，虽然是英语会影响阅读速度，但是与其看网络上3、4手的转载资料，还不如正正经经把官方man文档看一遍，这里把man的内容摘录下来不是为了增加本文文字长度，而是强迫读者把英文官方文档看一遍。
man strace
DESCRIPTION
       In the simplest case strace runs the speci