Linux 调试三剑客——strace,lsof,tcpdump

Brendan D. Gregg 专注 Linux performance & tuning 许多年,其博客 brendangregg.com 里关于分析和调优的干货琳琅满目。一篇名为 Linux Performance 文章全面而详细的整理了常用工具,覆盖了硬件、存储、网络乃至应用,如下图:

Linux performance

能掌握上图的十八般武艺固然最好,从定位分析的角度来说,我认为三个高级而常用的命令是 strace, lsof 和 tcpdump。


strace

strace - trace system calls and signals

据说,对一个经验丰富的 Linux C/C++ 工程师,他通过 strace 即可分析多数软件的大致实现方式。Linux 进程空间可分为用户空间和内核空间,程序通常运行在用户态,它需要通过 系统调用 访问内核空间。系统调用的重要性不言而喻,凡是涉及到进程、文件管理、设备管理和通信等的操作都必须依赖系统调用完成,如下:

  • Process Control: load/execute/end/abort/create/terminate process, get/set process attributes, wait for time/event/signal, allocate/free memory
  • File management: create/delete/open/read/write/reposition file, get/set file attributes
  • Device Management: request/release/attach/detach device,read/write/reposition, get/set device attributes
  • Communication: create/delete connection, send/receive messages, transfer status information

strace 追踪进程产生的所有系统调用,包括参数、返回值和执行消耗的时间,很多是涉及到内核和资源层面的操作都需要系统调用完成,所以 strace 在诊断以下场景非常有效:

  • 程序意外退出
  • 程序运行缓慢
  • 进程阻塞

strace 的通常使用方式如下:

strace -f -F -T -tt -o output.txt straced_cmd

-f  跟踪 fork 产生的子进程
-F  跟踪 vfork 产生的子进程
-tt 在输出中的每一行前加上时间信息,微秒级
-T  显示每一个调用所耗的时间
-o  输出到指定文件 output.txt
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

例如:

$ strace -T -tt -f -F ls
14:17:18.096447 execve("/bin/ls", ["ls"], [/* 31 vars */]) = 0 <0.000191>
14:17:18.097156 brk(0)                  = 0x1852000 <0.000196>
14:17:18.097554 access("/etc/ld.so.nohwcap", F_OK) = -1 ENOENT (No such file or directory) <0.000088>
14:17:18.097836 mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f6056b52000 <0.000186>
14:17:18.098242 access("/etc/ld.so.preload", R_OK) = -1 ENOENT (No such file or directory) <0.000097>
14:17:18.101519 open("/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3 <0.000131>
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

对于守护进程,strace 的使用为:

strace -T -tt -e trace=all -o output.txt -p daemon_pid
 
 
  • 1

lsof

Linux/Unix 的文件类型有以下 7 种:

  • Regular file
  • Directory
  • Symbolic link
  • Named pipe
  • Socket
  • Device file
  • Door

lsof 用于查看进程打开的文件,使用方式如下:

# 查看某个进程打开的文件
lsof -p pid

# 查看某个文件被哪些进程打开
lsof file_name
 
 
  • 1
  • 2
  • 3
  • 4
  • 5

例如:

# 1250 为 nova-api 的 pid
$ lsof -p 1250
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF   NODE NAME
nova-api 1250 nova  cwd    DIR  252,0     4096 133223 /var/lib/nova
nova-api 1250 nova  rtd    DIR  252,0     4096      2 /
nova-api 1250 nova  txt    REG  252,0  3345416 274069 /usr/bin/python2.7
nova-api 1250 nova  mem    REG  252,0    31720 407980 /usr/lib/python2.7/dist-packages/Crypto/Cipher/_AES.x86_64-linux-gnu.so
......
nova-api 1250 nova    5w  FIFO    0,9      0t0  12796 pipe
nova-api 1250 nova    6u  IPv4  12864      0t0    TCP *:8773 (LISTEN)
nova-api 1250 nova    7u  IPv4  12891      0t0    TCP *:8774 (LISTEN)
nova-api 1250 nova    8r   CHR    1,9      0t0   6683 /dev/urandom
nova-api 1250 nova    9u  IPv4  12986      0t0    TCP *:8775 (LISTEN)
nova-api 1250 nova   17u  0000   0,10        0   6631 anon_inode~ bash
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

又如,查询 /var/log/nova/nova-api 被哪些进程打开:

$ lsof /var/log/nova/nova-api.log
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF   NODE NAME
nova-api 1250 nova    3w   REG  252,0  2086779 133272 /var/log/nova/nova-api.log
nova-api 2235 nova    3w   REG  252,0  2086779 133272 /var/log/nova/nova-api.log
nova-api 2247 nova    3w   REG  252,0  2086779 133272 /var/log/nova/nova-api.log
nova-api 2255 nova    3w   REG  252,0  2086779 133272 /var/log/nova/nova-api.log
 
 
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6

tcpdump

tcpdump 和 wireshark 类似,都是抓包工具,windows 用户多用 wireshark,linux 用户多用 tcpdump。tcpdump 允许用户拦截和显示发送或收到过网络连接到该计算机的TCP/IP和其他数据包,从数据链路层、网络层、传输层乃至应用层,覆盖了多种常用协议,并提供了丰富的过滤功能,使用如下:

过滤网卡:

tcpdump -i eth1
 
 
  • 1

过滤 IP:

tcpdump net 10.10.10.1
tcpdump src net 10.10.10.1
tcpdump dst net 10.10.10.2
 
 
  • 1
  • 2
  • 3

过滤 port:

tcpdump port 80
tcpdump src port 80
tcpdump dst port 80
 
 
  • 1
  • 2
  • 3

过滤 protocol:

tcpdump arp
tcpdump icmp
tcpdump ip
tcpdump udp
tcpdump tcp
 
 
  • 1
  • 2
  • 3
  • 4
  • 5

常用表达试:

&  or 'and'
|| or 'or'
!  or 'not'
 
 
  • 1
  • 2
  • 3

抓取所有经过 eth0,目的地址是 10.10.10.1:80 的 TCP 数据:

$ tcpdump -i eth0 (tcp) and (dst port 80) and (dst net 10.10.10.1) 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值