Linux内核调试原理和工具介绍--理解静态插装/动态插装、tracepoint、ftrace、kprobe、SystemTap、Perf、eBPF

最新推荐文章于 2024-06-02 22:23:47 发布

网络安全研发随想

最新推荐文章于 2024-06-02 22:23:47 发布

阅读量5.1k

点赞数 5

分类专栏： linux内核

本文链接：https://blog.csdn.net/gengzhikui1992/article/details/89643042

版权

linux内核专栏收录该内容

25 篇文章 13 订阅

订阅专栏

可以将linux跟踪系统分成Tracer（跟踪数据来自哪里），数据收集分析（如"ftrace"）和跟踪前端（更方便的用户态工具）。

1. 数据源（Tracers）

printk 是一种方法, 但是 printk 终归是毫无选择地全量输出, 某些场景下不实用。

Tracepoint属于静态插装， 是散落在内核源代码中的一些 hook，一旦使能，它们便可以在特定的代码被运行到时被触发。比如Ftrace，Perf就使用了Tracepoint采集数据。

Probe技术属于动态插装（Dynamic Instrument） ,是当内核在运行时动态地修改/插入指令。Kprobes就是这种模式的例子。

1.1 Tracepoint示例–Ftrace function tracer

最早 ftrace 是一个 function tracer, 仅能够记录内核的函数调用流程，Ftrace采用 GCC 的 profile 特性在所有内核函数的开始部分加入一段 stub 代码来实现 function trace 功能。

如今 ftrace 已经成为一个 framework, 采用 plugin 的方式支持开发人员添加更多种类的 trace 功能.这些插件也可能是动态插装。

1.2 Tracepoint示例–Perf tracepoint event

Tracepoint event 是内核中的静态 tracepoint 所触发的事件，这些 tracepoint 用来判断程序运行期间内核的行为细节，比如 slab 分配器的分配次数等。

1.3 Probe示例–Kprobe

简介

kprobe是linux内核的一个重要特性，是一个轻量级的内核调试工具，同时它又是其他一些更高级的内核调试工具（比如systemtap）的"基础设施"，4.0版本的内核中，强大的eBPF特性也寄生于kprobe之上，所以kprobe在内核中的地位就可见一斑了。

用法

例如！使用kprobes监视我们的计算机上正在打开哪些文件。

$ sudo ./kprobe 'p:myopen do_sys_open filename=+0(%si):string'

您会注意到kprobes接口本身有点粗糙 - 比如，您必须知道文件名参数do_sys_open是在%si寄存器中并取消引用该指针并告诉kprobes系统它是一个字符串。

kprobes在3种情况下很有用：

您正在跟踪系统调用。系统调用都具有相应的内核函数，例如do_sys_open
您正在调试网络堆栈中的某些性能问题或者处理文件I / O，并且您了解内核函数，这些函数被调用得足以让您跟踪它们
你是一个内核开发人员，或者你正试图调试内核bug，有时会发生！

原理

基本上kprobes允许您在运行时动态更改Linux内核的汇编代码（比如，插入额外的汇编指令）以跟踪调用给定指令的时间。

内核源码下有目录下sample/kprobes，该目录下有许多kprobes的例子，可以仿照这些例子写自己的kprobe模块。

以kprobe_example.c为例：

首先声明一个kprobe结构体，然后定义其中几个关键成员变量，包括symbol_name，pre_handler，post_handler。其中，symbol_name是函数名（kprobe_example.c中该项为do_fork），告诉内核我的探测点放置在了函数do_fork处，pre_handler和post_handler分别表示在执行探测点之前和之后执行的钩子函数。

然后通过register_kprobe函数注册kprobe即可。

2. 数据收集和分析

2.1 Ftrace

原理

在这里插入图片描述

ftrace使用–debugfs

ftrace 通过 debugfs 向用户态提供访问接口。配置内核时激活 debugfs 后会创建目录 /sys/kernel/debug ，debugfs 文件系统就是挂载到该目录。

mount -t debugfs nodev /sys/kernel/debug

激活内核对 ftrace 的支持后会在 debugfs 下创建一个 tracing 目录 /sys/kernel/debug/tracing 。该目录下包含了 ftrace 的控制和输出文件。

使用示例：

cd /sys/kernel/debug/tracing
echo function > current_tracer
echo do_page_fault > set_ftrace_filter
cat trace

内核配置编译

通常在配置内核时，使用 make menuconfig 会更直观一些。要将 ftrace 编译进内核，可以选中 Kernel hacking下的 Tracers 菜单项。

ftrace 通过 debugfs 向用户态提供了访问接口，所以还需要将 debugfs 编译进内核。激活对 debugfs 的支持，可以直接编辑内核配置文件 .config ，设置 CONFIG_DEBUG_FS=y ；或者在 make menuconfig 时到 Kernel hacking 菜单下选中对 debugfs 文件系统的支持。

配置完成后，编译安装新内核，然后启动到新内核。注意，激活 ftrace 支持后，编译内核时会使用编译器的 -pg 选项，这是在 kernel/trace/Makefile 文件中定义的。

ftrace跟踪器

ftrace 当前包含多个跟踪器，用于跟踪不同类型的信息，比如进程调度、中断关闭等。可以查看文件 available_tracers 获取内核当前支持的跟踪器列表。在编译内核时，也可以看到内核支持的跟踪器对应的选项。

nop跟踪器 不会跟踪任何内核活动，将 nop 写入 current_tracer 文件可以删除之前所使用的跟踪器，并清空之前收集到的跟踪信息，即刷新 trace 文件。

function跟踪器 可以跟踪内核函数的执行情况；可以通过文件 set_ftrace_filter 显示指定要跟踪的函数。

function_graph跟踪器 可以显示类似 C 源码的函数调用关系图，这样查看起来比较直观一些；可以通过文件 set_grapch_function 显示指定要生成调用流程图的函数。

sched_switch跟踪器 可以对内核中的进程调度活动进行跟踪。

irqsoff跟踪器和 preemptoff跟踪器 分别跟踪关闭中断的代码和禁止进程抢占的代码，并记录关闭的最大时长，preemptirqsoff跟踪器则可以看做它们的组合。

ftrace 还支持其它一些跟踪器，比如 initcall、ksym_tracer、mmiotrace、sysprof 等。ftrace 框架支持扩展添加新的跟踪器。读者可以参考内核源码包中 Documentation/trace 目录下的文档以及 kernel/trace 下的源文件，以了解其它跟踪器的用途和如何添加新的跟踪器。