Linux内核与系统“知其可证”全景工具指南

北漂老男人

已于 2025-05-22 11:46:53 修改

阅读量595

点赞数 11

分类专栏： Linux 文章标签： linux 运维程序员创富学习方法改行学it

于 2025-05-22 11:45:54 首次发布

本文链接：https://blog.csdn.net/weixin_39863120/article/details/148137107

版权

Linux 专栏收录该内容

3 篇文章

订阅专栏

Linux内核与系统“知其可证”全景工具指南

一、引言

深入理解和优化Linux系统，离不开“可观测性”——只有把内核和各子系统的实时状态、历史行为、异常现象“看见”，才能有效定位瓶颈、发现根因、验证假设。Linux为此提供了极其丰富的追踪、分析与验证工具，涵盖系统调用、内核函数、网络、进程、内存、IPC、驱动、资源、内核对象等方方面面。本文将系统梳理这些工具，助你构建自己的“内核显微镜”。

二、工具全景地图

工具	主要用途（领域）	典型场景/说明
strace	系统调用/信号	跟踪进程所有系统调用、参数、返回值
ltrace	C库调用	跟踪进程与动态库的交互
ftrace	内核函数调用/调度	内核函数追踪，调度分析
perf	性能/采样/热点/延迟	性能瓶颈、火焰图、延迟分布
bpftrace/bcc	动态内核/用户追踪	eBPF插桩，统计、过滤、栈追踪
systemtap	脚本化内核/用户追踪	复杂条件与流程的追踪
tcpdump	网络包捕获	抓包、网络排障、协议分析
wireshark	图形化网络包分析	深度协议解析、回放
ss/netstat	Socket/网络连接	端口/连接/队列状态
lsof	文件/Socket/进程资源	谁打开了什么文件/端口？
dmesg	内核日志	驱动、硬件、内核事件
procfs/sysfs	内核参数/对象/状态	内核对象、参数、状态、统计
ps/top/htop	进程/线程/资源监控	系统负载、线程、资源消耗
vmstat	虚拟内存/IO统计	内存、swap、IO、上下文切换
iostat	块设备IO统计	磁盘吞吐、队列、延迟
pidstat	进程级CPU/IO统计	进程粒度性能分析
mpstat	多核CPU利用率	多核负载均衡分析
slabtop	内核slab内存分配	内核对象缓存/内存泄漏排查
free	内存分布	系统内存使用状况
cat/proc/xxx	内核子系统状态	各种子系统的实时/历史统计
watch	实时刷新命令输出	监控状态变化
ethtool	网卡/驱动状态	网卡参数、驱动信息、统计
irqbalance	中断分布分析	多核中断负载均衡
nstat	网络协议栈统计	TCP、UDP、IP层协议栈统计
iproute2	网络路由/策略管理	路由表、策略路由、流量控制
auditd/aureport	审计/安全事件	账号、文件、网络等的审计追踪
cgroup工具	资源隔离/统计	进程/容器资源限制与监控
sysdig	全栈系统事件捕获	类似strace+tcpdump+top的整合
gdb/crash/kdump	内核/用户空间调试	内核崩溃分析、内存快照

三、各领域工具详解与用法

1. 系统调用/信号/库函数

strace
跟踪系统调用、信号、参数、返回值

strace -p <pid>
strace -e trace=process,signal ./prog

ltrace
跟踪库函数调用
```
ltrace ./prog
```

2. 内核函数/调度/性能

ftrace
内核函数调用链、调度延迟、唤醒等

echo function > /sys/kernel/debug/tracing/current_tracer
echo schedule > /sys/kernel/debug/tracing/set_ftrace_filter
cat /sys/kernel/debug/tracing/trace

perf
进程/系统级采样、热点、火焰图、锁竞争、延迟

perf top
perf record -g ./prog; perf report
perf sched record; perf sched latency
perf lock record; perf lock report

bpftrace/bcc
eBPF插桩，灵活追踪内核/用户函数、参数、栈等

bpftrace -e 'kprobe:schedule { @[comm] = count(); }'
bpftrace -e 'kprobe:sys_sendto { printf("%s\n", comm); }'

systemtap
内核/用户空间探针，复杂脚本化追踪

stap -e 'probe kernel.function("do_fork") { printf("%s\n", execname()); }'

3. 网络/Socket/流量

tcpdump
命令行抓包
```
tcpdump -i eth0 port 80
```
wireshark
图形化抓包和协议分析
ss/netstat
Socket状态、队列、连接
```
ss -tlnp
netstat -s
```
nstat
网络协议栈计数器
```
nstat
```
ethtool
网卡参数、统计、驱动信息
```
ethtool -S eth0
ethtool eth0
```
iproute2
路由、队列、策略、流控
```
ip route
ip link
ip rule
```

4. 进程/线程/调度

ps/top/htop
进程/线程/负载/资源
pidstat/mpstat
进程/多核CPU统计
```
pidstat -u -p ALL 1
mpstat -P ALL 1
```

watch
实时刷新命令输出

watch -n 1 'ps aux | sort -nrk 3 | head'

5. 内存/虚拟内存/页缓存

free
总体内存分布
vmstat
内存、swap、IO、上下文切换
```
vmstat 1
```
slabtop
内核slab分配器对象状态
```
slabtop
```
/proc/meminfo
内存详细状态
/proc/pid/smaps
进程内存映射详细信息
```
cat /proc/$(pidof your_prog)/smaps
```
numastat
NUMA多节点内存统计

6. 块设备/IO统计

iostat
块设备吞吐、延迟、队列
```
iostat -x 1
```
iotop
进程级IO监控
```
iotop
```

7. 进程间通信（IPC）

ipcs
系统V IPC对象状态（信号量、消息队列、共享内存）
lsipc
查看IPC对象
/proc/sysvipc/
详细IPC对象信息
bpftrace/systemtap
可动态追踪如pipe、shm、mq、eventfd、futex等内核实现

8. 内核对象/参数/统计

procfs/sysfs
读取/配置内核对象状态

cat /proc/cpuinfo
cat /proc/net/tcp
cat /sys/class/net/eth0/statistics/tx_bytes

cgroup相关工具
资源隔离、容器监控
```
systemd-cgls
systemd-cgtop
```

9. 文件/Socket/资源

lsof
进程打开的文件/端口
```
lsof -i :80
lsof -p <pid>
```

10. 内核日志/崩溃/调试

dmesg
内核日志
gdb/crash/kdump
内核调试、coredump分析
auditd/aureport
安全审计

11. 全栈事件与整合工具

sysdig
全栈系统事件捕获、过滤、流量统计等
```
sysdig evt.type=read
sysdig -c topprocs_net
```

四、综合场景举例

1. 程序卡住不动？

strace -p <pid>：看卡在哪个系统调用
lsof -p <pid>：看资源占用
ps -L -p <pid>：多线程状态

2. 网络延迟变高？

ss -tna：看连接状态
tcpdump/wireshark：分析包丢失/重传
bpftrace -e 'kprobe:tcp_retransmit_skb { @[comm] = count(); }'：追踪内核重传

3. 内存泄漏怀疑？

slabtop：内核对象泄漏
cat /proc/meminfo、/proc/pid/smaps：用户空间泄漏

4. 块设备IO瓶颈？

iostat -x 1、iotop：块设备利用率
bpftrace/perf分析bio、request队列延迟

5. IPC异常？

ipcs/lsipc：IPC对象状态
strace/bpftrace跟踪相关系统调用

五、参考与延伸

六、结语

知其可证，方能知其善治。
Linux系统的可观测性和调试能力，离不开丰富的工具链。无论你关注的是IO、网络、进程、内存还是内核本身，合理选择和结合工具，才能快速定位、验证、分析和解决问题，成为真正的系统高手。

如需某一工具或场景的深入实战案例，欢迎随时交流！