使用ltrace、strace跟踪Linux进程事件，辅助分析疑难杂症

[原帖地址:  http://hi.baidu.com/higkoo/blog/item/36ab6cf3c47eefc60b46e003.html]

今天，我们来了解一下怎样使用ltrace、strace来跟踪Linux进程事件。

首先，瞄一眼ltrace、strace的说明：

ltrace - A library call tracer

strace - trace system calls and signals

下面我用C和C++的一个简单例子来演示一下它们的用法，同时使用C和C++也有点对比的意味。

main.c

#include <stdio.h>

int main(){

    printf("Hello World !");

    return 0;

}

main.cpp

#include <iostream>

int main(){

    std::cout<<"Hello World !"<<std::endl;

    return 0;

}

有兴趣的朋友可以先比较一下两者生成的汇编代码，汇编的内容和trance的结果有一定关联。

编译汇编码方式如下（由于百度博客长度限制，不能传附件，就不贴出来了）：

gcc -S ./main.c -o main.c.s

g++ -S ./main.cpp -o main.cpp.s

下一步，编译二进制文件：

gcc ./main.c -o ./main_c

g++ ./main.cpp -o ./main_cpp

查看文件main_c main_cpp属性：

ELF 64-bit LSB executable, AMD x86-64, version 1 (SYSV), for GNU/Linux 2.6.9, dynamically linked (uses shared libs), for GNU/Linux 2.6.9, not stripped

两者运行结果相同，都是打印“Hello World !”后退出。

下面，我们来看下trace结果。

ltrace ./main_c

__libc_start_main(0x400498, 1, 0x7fffeb89e8a8, 0x4004d0, 0x4004c0 <unfinished ...>

printf("Hello World !")                                                                     = 13

Hello World !+++ exited (status 0) +++

ltrace ./main_cpp 

__libc_start_main(0x400844, 1, 0x7fff01389398, 0x400880, 0x400870 <unfinished ...>

_ZNSt8ios_base4InitC1Ev(0x600e2c, 65535, 0x7fff013893a8, 3, 0x31e1752350)                   = 2

__cxa_atexit(0x40082c, 0, 0x400960, 3, 0x31e1752350)                                        = 0

_ZStlsISt11char_traitsIcEERSt13basic_ostreamIcT_ES5_PKc(0x600d10, 0x400968, 0x7fff013893a8, 4, 0x31e1752370) = 0x600d10

_ZNSolsEPFRSoS_E(0x600d10, 0x4006e0, 0, 0xfbad2a84, 0xffffffff <unfinished ...>

_ZSt4endlIcSt11char_traitsIcEERSt13basic_ostreamIT_T0_ES6_(0x600d10, 0x4006e0, 0, 0xfbad2a84, 0xffffffffHello World !

) = 0x600d10

_ZNSt8ios_base4InitD1Ev(0x600e2c, 0, 0x31e1752370, -1, 0x2b2e79280530)                      = 3

+++ exited (status 0) +++

相比而已，C语言真简洁！

下面再看一下strace的结果（由于篇幅限制，省略了部分数据）：

strace ./main_c

execve("./main_c", ["./main_c"], [/* 30 vars */]) = 0

brk(0)                                  = 0x1a9d4000

uname({sys="Linux", node="performance106", ...}) = 0

access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)

open("/etc/ld.so.cache", O_RDONLY)      = 3

fstat(3, {st_mode=S_IFREG|0644, st_size=68624, ...}) = 0

mmap(NULL, 68624, PROT_READ, MAP_PRIVATE, 3, 0) = 0x2afefc5f6000

close(3)                                = 0

open("/lib64/libc.so.6", O_RDONLY)      = 3

read(3, "/177ELF/2/1/1/0/0/0/0/0/0/0/0/0/3/0>/0/1/0/0/0/220/332A/3411/0/0/0"..., 832) = 832

mprotect(0x31e154d000, 2097152, PROT_NONE) = 0

close(3)                                = 0

arch_prctl(ARCH_SET_FS, 0x2afefc608210) = 0

write(1, "Hello World !", 13Hello World !)           = 13

exit_group(0)

strace ./main_cpp

execve("./main_cpp", ["./main_cpp"], [/* 30 vars */]) = 0

brk(0)                                  = 0x1d954000

mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x2b4f71efd000

uname({sys="Linux", node="performance106", ...}) = 0

access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)

open("/etc/ld.so.cache", O_RDONLY)      = 3

fstat(3, {st_mode=S_IFREG|0644, st_size=68624, ...}) = 0

close(3)                                = 0

open("/usr/lib64/libstdc++.so.6", O_RDONLY) = 3

arch_prctl(ARCH_SET_FS, 0x2b4f71f11530) = 0

mprotect(0x31e121b000, 4096, PROT_READ) = 0

munmap(0x2b4f71efe000, 68624)           = 0

fstat(1, {st_mode=S_IFCHR|0620, st_rdev=makedev(136, 1), ...}) = 0

mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x2b4f71efe000

write(1, "Hello World !/n", 14Hello World !

)         = 14

exit_group(0)                           = ?

   从系统调用过程来看，最终方式是相同的，但C++过程繁琐一些。

   上述示例是捕捉可执行程序的执行过程，同理也可以捕捉服务程序内部正在执行的事件。

   譬如Nginx、Apache、Python等服务当前做了哪些事情，当遇到异常时非常有参考阶段。

   由于Java使用了自己的虚拟机，必须使用Java对应的监控工具才行（如Jprofile、Jconsole、JvisualVM等）。用ltrace进行跟踪，会收到“Cannot attach to pid 18663: Operation not permitted”。

   分析过程一般还需要用到 truss、gdb、pstack、pfiles、top、lsof、pmap、netstat、ps 等指令共同分析。