目录
一、内核调试的痛点
内核调试,添加打印信息。在运行过程中想看某个函数的变量,需要重新编译内核。这样破坏了执行的过程。
二、kprobe的优点
kprobe 可以在系统运行期间,自定义回调函数,动态插入探测点。当内核执行到探测函数时,会调用回调函数。同时,也可以动态移除探测函数。
探测点的类型
- pre_handler:在被探测函数执行前回调
- post_handler:在被探测函数执行
- falut_handler:探测期间发生的错误,但在新内核中被删除
三、kprobe探测点的要点
1、探测的特点
- 可以探测的函数,一般来说,可以探测任意函数。
- 回调函数,通过修改内核的数据结构或pt_regs结构体中的数据,可以修改被探测函数的环境。如在测试中安装bug修复信息或者注入错误代码。
- kprobe会避免在处理探测点函数时 再次调用另一个探测点的回调函数。如在printk上注册的探测点,在它的回调函数中可能再次调用printk函数,此时将不再触发printk探测点的回调。
- 在注册和销毁的过程中,不要使用mutexs或allocate memory函数
- 多个回调函数可以同时在不同的CPU上触发。
- 探测函数运行在禁用抢占或禁用中断的情况下运行,在这种情况下中断函数不能调用会放弃CPU的函数。
- 如何函数的调用次数和返回次数不等,则在类似的函数上注册kretprobe不会达到预期的效果。如do_exit()
- 在进入和退出一个函数时,CPU运行再非当前任务所有的栈上,往该函数上注册kretprobe可能会导致不可预料的后果。因此X86_64结构下为__switch_to()注册kretprobe会返回-EINVAL
2、不能探测的函数
- 函数中有 __kprobes或nokprobe_inline 不能探测
- 使用NOKPEOBE_SYSBOL宏的函数
- 在黑名单中的函数 /sys/kernel/debug/kprobes/blacklist
- 内敛函数inline,不能保证都探测,因为gcc可能会优化某些函数
- 在kernel/kprobes.c和arch/*/kernel/kprobes.c 用于实现自身的函数不能探测
- do_page_fault与 notifier_call_chain 函数会出现错误。在register_*probe 注册时会返回-EINVAL
3、接口稳定性
- 内核函数API在不断的变化,有些会被弃用;内核探测模块需要不断维护
- 在探测大量代码路径(如 调度,中断,或网络代码)避免探测。如果探测,使用printk 速率限制的API。pr_debug_ratelimited、pr_err_ratelimited
四、探测点的开销与优化
2005年使用的典型CPU,kprobe命中需要0.5到1.0微秒来处理,返回探测命中的时间通常比kprobe命中的时间长50-75%
k = kprobe; r = return probe; kr = kprobe + return probe
on same function
i386: Intel Pentium M, 1495 MHz, 2957.31 bogomips
k = 0.57 usec; r = 0.92; kr = 0.99
x86_64: AMD Opteron 246, 1994 MHz, 3971.48 bogomips
k = 0.49 usec; r = 0.80; kr = 0.82
ppc64: POWER5 (gr), 1656 MHz (SMT disabled, 1 virtual CPU per physical CPU)
k = 0.77 usec; r = 1.26; kr = 1.45
优化的kprobe命中需要0.07到0.1微秒才能处理
k = unoptimized kprobe, b = boosted (single-step skipped), o = optimized kprobe,
r = unoptimized kretprobe, rb = boosted kretprobe, ro = optimized kretprobe.
i386: Intel(R) Xeon(R) E5410, 2.33GHz, 4656.90 bogomips
k = 0.80 usec; b = 0.33; o = 0.05; r = 1.10; rb = 0.61; ro = 0.33
x86-64: Intel(R) Xeon(R) E5410, 2.33GHz, 4656.90 bogomips
k = 0.99 usec; b = 0.43; o = 0.06; r = 1.24; rb = 0.68; ro = 0.30
五、内核配置
CONFIG_KPROBES=y
CONFIG_KALLSYMS=y
CONFIG_KALLSYMS_ALL=y
CONFIG_DEBUG_INFO=y
六、API
#include <linux/kprobes.h>
#include <linux/ptrace.h>
//注册
int register_kprobe(struct kprobe *kp);
//探测前回调函数
int pre_handler(struct kprobe *p, struct pt_regs *regs);
//探测后回调函数
void post_handler(struct kprobe *p, struct pt_regs *regs,
unsigned long flags);
int disable_kprobe(struct kprobe *kp);
int enable_kprobe(struct kprobe *kp);
void unregister_kprobes(struct kprobe **kps, int num);
七、程序架构
#include <linux/kprobes.h>
#include <linux/ptrace.h>
static int handler_pre(struct kprobe *p, struct pt_regs *regs)
{
}
static void handler_post(struct kprobe *p, struct pt_regs *regs, unsigned long flags)
{
}
static struct kprobe kpb;
static int __init kprobe_init(void)
{
kpb.pre_handler = handler_pre;
kpb.post_handler = handler_post;
kpb.symbol_name = kprobe_func;
if (register_kprobe(&kpb)) {
pr_alert("register_kprobe failed!\n“);
return -EINVAL;
}
}
static void __exit kprobe_exit(void)
{
unregister_kprobe(&kpb);
pr_info("bye, unregistering kernel probe @ '%s'\n", kprobe_func);
}
module_init(kprobe_init);
module_exit(kprobe_exit);
八、实例
使用kprobe跟踪do_sys_openat2,并输出打开的文件名参数
内核中do_sys_openat2的原型
static long do_sys_openat2(int dfd, const char __user *filename,
struct open_how *how)
{
}
1、内核模块程序
kprobe.c源码
#include <linux/module.h>
#include <linux/kernel.h>
#include <linux/init.h>
#include <linux/slab.h>
#include <linux/interrupt.h>
#include <linux/spinlock.h>
#include <linux/kprobes.h>
#include <linux/ptrace.h>
#include <linux/uaccess.h>
#include <linux/jiffies.h>
#include <linux/ktime.h>
MODULE_AUTHOR("wy");
MODULE_LICENSE("Dual MIT/GPL");
MODULE_VERSION("0.1");
static spinlock_t lock;
static struct kprobe kpb;
static u64 tm_start, tm_end;
static char *fname;
//接收脚本传递的参数 kprobe_func
#define MAX_FUNCNAME_LEN 64
static char kprobe_func[MAX_FUNCNAME_LEN];
module_param_string(kprobe_func, kprobe_func, sizeof(kprobe_func), 0);
MODULE_PARM_DESC(kprobe_func, "function name to attach a kprobe to");
#define pr_fmt(fmt) "%s:%s(): " fmt, KBUILD_MODNAME, __func__
//显示时间差
#define SHOW_DELTA(later, earlier) do { \
if (time_after((unsigned long)later, (unsigned long)earlier)) { \
s64 delta_ns = ktime_to_ns(ktime_sub(later, earlier)); \
pr_info("delta: %lld ns", delta_ns); \
if (delta_ns/1000 >= 1) \
pr_info(" %lld us", delta_ns/1000); \
if (delta_ns/1000000 >= 1) \
pr_info(" %lld ms", delta_ns/1000000); \
} else \
pr_warn("SHOW_DELTA(): *invalid* earlier > later?\n"); \
} while (0)
//探测前的执行
static int handler_pre(struct kprobe *p, struct pt_regs *regs)
{
char *param_fname_reg;
param_fname_reg = (char __user *)regs->si;
#if 1
//拷贝数据
if (!strncpy_from_user(fname, param_fname_reg, PATH_MAX + 1))
#else
/* 使用 copy_from_user() 会产生调度 导致CPU挂掉*/
if (!copy_from_user(fname, (const char __user *)regs->si,
strnlen_user((const char __user *)regs->si, PATH_MAX + 1)))
#endif
return -EFAULT;
pr_info("FILE being opened: reg:0x%px fname:%s\n",
(void *)param_fname_reg, fname);
spin_lock(&lock);
tm_start = ktime_get_real_ns();
spin_unlock(&lock);
//内核栈信息
dump_stack();
return 0;
}
//探测之后的输出
static void handler_post(struct kprobe *p, struct pt_regs *regs, unsigned long flags)
{
spin_lock(&lock);
tm_end = ktime_get_real_ns();
//计算时间
SHOW_DELTA(tm_end, tm_start);
spin_unlock(&lock);
}
static int __init kprobe_init(void)
{
if (kprobe_func[0] == '\0') {
pr_warn("expect a valid kprobe_func=<func_name> module parameter");
return -EINVAL;
}
//申请内存空间,用来存储do_sys_openat2参数名
fname = kzalloc(PATH_MAX + 1, GFP_ATOMIC);
if (unlikely(!fname))
return -ENOMEM;
kpb.pre_handler = handler_pre;
kpb.post_handler = handler_post;
kpb.symbol_name = kprobe_func;
//注册
if (register_kprobe(&kpb)) {
pr_alert("kernel fun register_kprobe failed!\n", kprobe_func);
return -EINVAL;
}
pr_info("registering kernel probe @ '%s'\n", kprobe_func);
spin_lock_init(&lock);
return 0; /* success */
}
static void __exit kprobe_exit(void)
{
kfree(fname);
unregister_kprobe(&kpb);
pr_info("bye, unregistering kernel probe @ '%s'\n", kprobe_func);
}
module_init(kprobe_init);
module_exit(kprobe_exit);
Makefile
FNAME_C := kprobe
KDIR ?= /lib/modules/$(shell uname -r)/build
CC := $(CROSS_COMPILE)gcc
PWD := $(shell pwd)
obj-m += ${FNAME_C}.o
all:
make -C $(KDIR) M=$(PWD) modules
install:
make
sudo make -C $(KDIR) M=$(PWD) modules_install
clean:
make -C $(KDIR) M=$(PWD) clean
2、用户态应用程序
测试程序打开/home/kprobe.c 测试在kprobe探测能否探测到
#include<stdio.h>
#include <unistd.h>
void main()
{
FILE *fp = NULL;
while(1)
{
fp = fopen("/home/kprobe.c","r+");
if(fp == NULL)
return;
fclose(fp);
usleep(10000);
}
}
gcc main.c 生成a.out
3、运行测试
运行用户程序
a.out
运行内核程序
insmod ./kprobe.ko kprobe_func=do_sys_openat2
运行输出截取,运行时很多的干扰可以使用 journalctl
#journalctl -k >log.txt
#cat log.txt | grep "/home/kprobe.c"
将内核输出都写到log.txt中(dmesg只能写部分),使用grep检索所需要查询的信息。
Oct 24 19:23:19 ubuntu kernel: CPU: 1 PID: 380 Comm: systemd-journal Tainted: G OE 5.13.0-52-generic #59-Ubuntu
Oct 24 19:23:19 ubuntu kernel: ? do_syscall_64+0x6e/0xb0
Oct 24 19:23:19 ubuntu kernel: 3_kprobe:handler_pre(): FILE being opened: reg:0x000055bdf0a79010 fname:/home/wy/misc/kernel/Linux-Kernel-Debugging/ch4/kprobes/3_kprobe/3_kprobe.c
Oct 24 19:23:19 ubuntu kernel: ? do_sys_openat2+0x5/0x150
Oct 24 19:23:19 ubuntu kernel: ? irqentry_exit+0x19/0x30
Oct 24 19:23:19 ubuntu kernel: ? do_sys_openat2+0x5/0x150
Oct 24 19:23:19 ubuntu kernel: RSP: 0018:ffffba4ec070be98 EFLAGS: 00000246 ORIG_RAX: 0000000000000000
Oct 24 19:23:19 ubuntu kernel: 3_kprobe:handler_post(): delta: 743566 ns
Oct 24 19:23:19 ubuntu kernel: RBP: 000055da77256800 R08: 0000000000000000 R09: ffffffffffffffff
Oct 24 19:23:19 ubuntu kernel: 3_kprobe:handler_post(): 001) systemd-journal :380 | ...0 /* handler_post() */
Oct 24 19:23:19 ubuntu kernel: Hardware name: VMware, Inc. VMware Virtual Platform/440BX Desktop Reference Platform, BIOS 6.00 07/22/2020
Oct 24 19:23:19 ubuntu kernel: ? __x64_sys_openat+0x55/0x90
Oct 24 19:23:19 ubuntu kernel: show_stack+0x52/0x58
Oct 24 19:23:19 ubuntu kernel: Call Trace:
Oct 24 19:23:19 ubuntu kernel: 3_kprobe:handler_post(): 313 us
Oct 24 19:23:19 ubuntu kernel: entry_SYSCALL_64_after_hwframe+0x44/0xae
Oct 24 19:23:19 ubuntu kernel: kprobe_ftrace_handler+0xf9/0x1c0
Oct 24 19:23:19 ubuntu kernel: kprobe_ftrace_handler+0xf9/0x1c0
Oct 24 19:23:19 ubuntu kernel: show_stack+0x52/0x58
Oct 24 19:23:19 ubuntu kernel: Call Trace:
Oct 24 19:23:19 ubuntu kernel: 3_kprobe:handler_post(): 481 us
Oct 24 19:23:19 ubuntu kernel: 3_kprobe:handler_pre(): 001) systemd-journal :380 | ...0 /* handler_pre() */
Oct 24 19:23:19 ubuntu kernel: 3_kprobe:handler_post(): 001) systemd-journal :380 | ...0 /* handler_post() */
Oct 24 19:23:19 ubuntu kernel: </TASK>
在输出信息中可以看到函数的地址、打开的文件名、函数执行的时间等信息
参考