ftrace命令调试内核详细总结（快速掌握附实例讲解）

一、简介

Ftrace是一个专门针对linux kernel内核空间的debug工具，用于帮助开发者弄清kernel正在发生的行为，对用户空间对内核低延时，内核性能等方面的问题进行调试分析。
Ftrace最开始设计时主要是为了追踪函数的调用栈，但随着功能的增强，已经演变成一个跟踪框架，支持多种跟踪器，如function、function_graph、wakeup、irq等。另外一个很常用的功能就是事件跟踪，在用户空间通过debugfs文件系统启用内核代码中的数百个静态trace point，利用这些trace point，可以查看内核态发生的一些事件信息。
ftrace原理具体可以参考下面流程图：

二、ftrace的相关配置

2.1 ftrace主要配置流程

（1）内核配置；
（2）挂载debugfs文件系统；

2.2 具体配置详解

（1）内核配置

CONFIG_FTRACE=y #FTRACE打开后，编译内核时会打开-pg选项。
CONFIG_FUNCTION_TRACER=y
CONFIG_HAVE_FUNCTION_GRAPH_TRACER
CONFIG_FUNCTION_GRAPH_TRACER=y
CONFIG_STACK_TRACER=y
CONFIG_DYNAMIC_FTRACE=y
CONFIG_HAVE_FTRACE_NMI_ENTER=y
CONFIG_HAVE_FTRACE_MCOUNT_RECORD=y
CONFIG_FTRACE_NMI_ENTER=y                      
CONFIG_FTRACE_SYSCALLS=y
CONFIG_FTRACE_MCOUNT_RECORD=y
CONFIG_DEBUG_FS=y

（2）挂载debugfs文件系统
ftrace通过debugfs向用户空间提供访问接口，内核配置debugfs后，会创建/sys/kernel/debug目录，debugfs文件系统就是挂载到该目录，要挂载该目录，可以采用以下两种方式：
1、加入到/etc/fstab中自动挂载

[root@localhost /]# vim /etc/fstab 
debugfs  /sys/kernel/debug  debugfs  defaults  0  0 //追加该行内容

2、手动挂载

[root@localhost /]# mount  -t  debugfs  nodev  /sys/kernel/debug

三、ftracing目录内容详解

激活内核对 ftrace 的支持，同时执行第二章的挂载操作后会在 debugfs 下创建一个 tracing 目录 /sys/kernel/debug/tracing 。该目录下包含了 ftrace 的控制和输出文件，具体文件及解析如下：

3.1 通用配置解析

这些配置文件用于控制ftrace的执行，如选择跟踪器tracer、控制ftrace的开关、执行具体的函数探测点等，具体解析如下：

available_events：列出系统中所有可用的Trace events，分两个层级，用冒号隔开。
current_tracer：用于设置或者显示当前使用的跟踪器列表。系统启动缺省值为nop，使用echo将跟踪器名字写入即可打开。可以通过写入nop重置跟踪器
buffer_size_kb：单个cpu跟踪缓存大小
buffer_total_size_kb:显示所有的跟踪缓存大小，不同之处在于buffer_size_kb是单个CPU的，buffer_total_size_kb是所有CPU的和
free_buffer:此文件用于在一个进程被关闭后，同时释放RingBuffer内存，并将调整大小到最小值
trace:查看获取到的跟踪信息的接口，echo > trace可以清空当前RingBuffer。
trace_pipe:实时输出和trace一样的内容，但是此文件输出Trace同时将RingBuffer中的内容删除，这样就避免了RingBuffer的溢出。可以通过cat trace_pipe > trace.txt 保存文件
trace_options：控制Trace打印内容或者操作跟踪器，可以通过trace_options添加很多附加信息
options：trace选项的一系列文件，和trace_options配合使用。
tracing_on：用于控制跟踪打开或停止，0停止跟踪，1继续跟踪。

3.2 支持的跟踪器解析

不同的平台架构及内核支持的跟踪器有部分差别，本人以X86平台进行讲解：

[root@localhost tracing]# cat available_tracers 
blk mmiotrace function_graph wakeup_dl wakeup_rt wakeup function nop

跟踪器	解析
function	函数调用追踪器，可以看出哪个函数何时调用，可以通过过滤器指定要跟踪的函数
function_graph	函数调用图表追踪器，可以看出哪个函数被哪个函数调用，何时返回
blk	block I/O追踪器,blktrace用户应用程序 使用的跟踪器
mmiotrace	MMIO(Memory Mapped I/O)追踪器，用于Nouveau驱动程序等逆向工程一种特殊的跟踪器，用于跟踪二进制模块。它跟踪模块对硬件的所有调用
wakeup	跟踪进程唤醒信息，进程调度延迟追踪器
wakeup_rt	与wakeup相同，但以实时进程为对象
nop	不会跟踪任何内核活动，将 nop 写入 current_tracer 文件可以删除之前所使用的跟踪器，并清空之前收集到的跟踪信息，即刷新 trace 文件
wakeup_dl	跟踪并记录唤醒SCHED_DEADLINE任务所需的最大延迟（如"wakeup”和"wakeup_rt”一样）
hwlat	硬件延迟跟踪器。它用于检测硬件是否产生任何延迟

3.3 其他配置文件

（1）设置当前的跟踪器（current_tracer ）

[root@localhost tracing]# cat current_tracer //当前的跟踪器
nop  // 不会跟踪任何内核活动
[root@localhost tracing]# echo function > current_tracer //设置函数调用图表追踪器为当前的跟踪器

（2）trace过滤器选择

set_ftrace_filter：用于指定跟踪的函数
set_ftrace_notrace：用于指定不跟踪的函数
set_ftrace_pid：用于指定要跟踪特定进程的函数

具体实例：

//选择需要trace的函数
[root@localhost tracing]# echo func_name > set_ftrace_filter
[root@localhost tracing]# echo schedule > set_ftrace_filter等同于
[root@localhost tracing]# echo schedule > set_graph_notrace
//追踪e1000e模块中的函数
[root@localhost tracing]# echo ':mod:e1000e' > set_ftrace_filter

function filter 的设置也支持 *match，match* ，*match* 这样的正则表达式，譬如我们可以 echo '*lock*' > set_ftrace_notrace 来禁止跟踪带 lock 的函数
[root@localhost tracing]# echo '*lock*' > set_ftrace_notrace
[root@localhost tracing]# cat set_ftrace_notrace
btrfs_bio_counter_inc_noblocked [btrfs]
btrfs_bio_counter_inc_blocked [btrfs]
lock_stripe_add [btrfs]
unlock_stripe [btrfs]
...

（3）trace使能
tracing_on ：是否往循环buffer写跟踪记录

[root@localhost tracing]# echo 1  >tracing_on  //打开ftrace
[root@localhost tracing]# echo 0  >tracing_on  //关闭ftrace

（4）trace数据读取
trace：可以cat读取跟踪记录的buffer内容（查看的时候会临时停止跟踪）

[root@localhost tracing]# cat trace

（5）event
在 ftrace 里面，另外用的多的就是 event 的 trace，我们可以在 events 目录下面看支持那些事件：
目录里面，都有一个 enable 的文件，我们只需要往里面写入 1，就可以开始 trace 这个事件
（6）获取追踪函数的调用栈

[root@localhost tracing]#  echo 1 > options/func_stack_trace //当跟踪具体函数时可结合使用

四、实例操作

以探测一个具体函数为例：

[root@localhost tracing]#  echo 0 > tracing_on //关闭trace
[root@localhost tracing]#  echo function > current_tracer   //设置函数为跟踪器
[root@localhost tracing]#  echo schedule > set_ftrace_filter   //我们可以设置只跟踪特定的function
[root@localhost tracing]#  echo 1 > options/func_stack_trace  // 设置追踪函数的调用栈
[root@localhost tracing]#  echo 1 > tracing_on //使能trace
[root@localhost tracing]# cat trace //读取探测的的数据

五、其他相关博客链接

1、Kdump配置及调试内核详解

2、gdb调试常见命令总结

3、Linux下反编译命令objdump总结