Linux 提供了一系列的动态追踪机制工具,比如:
(1)perf:官方的 Linux 分析器。 它非常适合 CPU 分析(堆栈跟踪采样)和 PMC 分析,并且可以检测其他事件,通常记录到输出文件以进行后处理。
(2)ftrace:官方的 Linux 追踪器,它是一个由不同的追踪工具组成的多功能工具。 它适用于内核代码路径分析和资源受限的系统,因为它可以在没有依赖关系的情况下使用。
每一种trace都可以分为静态探针,动态探针。
静态探针
静态探针:事先在代码中定义好,并编译到应用程序或者内核中的探针。这些探针只有在开启探测功能时,才会被执行到;未开启时并不会执行。
1)跟踪点(tracepoints)是内核静态插桩技术
比如在内核中,最常见的静态跟踪方法就是 printk,即输出日志。又比如:在系统调用、调度程序事件、文件系统操作和磁盘 I/O 的开始和结束时都有跟踪点。 于 2009 年在 Linux 2.6.32 版本中首次提供。跟踪点是一种稳定的 API,数量有限。
ftrace对应于内核函数中一些trace_开头的函数的调用(比如trace_sched_switch),也就是一些固定插入到内核代码的追踪点,追踪点函数的定义见include/linux/tracepoint.h头文件。在include/trace/events/目录下头文件中定义了相关的追踪函数。
(2)USDT(User-level statically defined tracing)探针
全称是用户级静态定义跟踪, 提供了一个用户空间版的跟踪点机制,需要在源码中插入 DTRACE_PROBE() 代码,并编译到应用程序中。
动态探针
1)kprobes 是内核动态插桩,用来跟踪内核态的函数
/proc/kallsym 中的函数几乎都可以用于跟踪,包括用于函数调用的 kprobe 和用于函数返回的 kretprobe。
2)uprobes Uprobes是用户级的动态插桩
跟踪用户态的函数,包括用于函数调用的 uprobe 和用于函数返回的 uretprobe。
简单使用
ftrace工具在sysfs中提供了一个和用户交互的子文件系统,其目录位于/sys/kernel/debug/tracing下,老版本的目录可能是/sys/kernel/debug/trace。
1. 提示类文件
avaliable_events :记录所有可以追踪的事件
availiable_tracers :记录所有的tracer
available_filter_functions :记录所有内核导出且可以追踪的函数
events 是一个目录,可以查看事件列表以及相关参数(formats子文件),设置事件的过滤条件(filter子文件),比如events/sched/sched_switch/format 可以查看进程切换上下文的输出格式以及过滤条件中可以使用的相关参数, events/sched/sched_switch/filter 可以设置事件过滤条件 echo ‘next_comm ~ “cs”‘ > events/sched/sched_switch/filter
2. 控制类文件
tracing_on 写入1,可以开始追踪,写入0停止追踪
tracing_cpumask 设置允许跟踪的cpu
tracing_max_latency 设置Tracer的最大延时
set_event 设置追踪的事件,可以写入通配符,比如sched_*
set_event_pid 设置追踪的事件的pid
current_tracer 设置或显示当前的Tracer,默认是nop追踪器
buffer_size_kb 单个cpu跟踪的缓存的大小
set_ftrace_pid 设置追踪的pid,函数追踪器使用
set_ftrace_filter 设置追踪的函数
set_ftrace_notrace 设置不追踪的函数
3.输出类文件
trace 可以查看ringbuffer中的跟踪信息,echo > trace可以清空ringbuffer
trace_pipe 内容和trace一致,但是输出同时会清空ringbuffer中的内容
事件的使用
示例1:下面是追踪thermal的调用示例
echo thermal:* >set_event
echo 1 > tracing_on
cat trace_pipe | grep thermal
echo 0 > tracing_on 可以关闭追踪
echo > set_event 可以关闭事件追踪
示例2:追踪进程切换
ftrace允许你对一个特定的进程进行跟踪,设置set_ftrace_pid的值要更新为你想跟踪的进程的PID
echo sched_switch > set_event
echo 0 > set_event_pid
echo 1 > tracing_on
cat trace_pipe
linux 有输出,安卓没有输出。
示例3:追踪函数
演示跟踪do_sys_open函数,ls 命令会通过 open 系统调用打开目录文件,而 open 在内核中对应的函数名为 do_sys_open。
echo 0 > tracing_on
echo function > current_tracer
echo do_sys_open > set_ftrace_filter
echo 1 > tracing_on
ls
cat trace | more
linux 有输出,安卓没有输出。安卓目录下没有set_ftrace_filter这个文件,先占个地方
Tracer的使用
echo wakeup > current_tracer
echo 1 > tracing_on
wakeup可以追踪任务被唤醒的时延。(暂时没有尝试过,先占个地方)
Q&A:无法挂载?debugfs 下面没有tracing 文件?
之前看debugfs 下面没有tracing 文件(可能是缺少某一个配置)
然后可以去/sys/kernel/tracing下面进行ftrace 的追踪。
历史原因:内核的任意子系统都有可能使用 debugfs 做调试,所以很多人出于安全考虑 debugfs 是不启用的,这就导致无法使用内核的追踪能力,tracefs 随之诞生了。创建/sys/kernel/tracing目录,但为了保证兼容性,tracefs 仍然挂载在/sys/kernel/debug/tracing下。如果没有启用debugfs,tracefs 可以挂载在/sys/kernel/tracing。
如果/sys/kernel/debug/tracing没有,可以挂载
mount -t debugfs nodev /sys/kernel/debug
挂载报错:
mount: 'nodev'->'/sys/kernel/debug': Device or resource busy
解决办法
umount /sys/kernel/debug
mount -t debugfs nodev /sys/kernel/debug