当ftrace用于用户空间

gcc4.6 添加了一个编译选项 -mfentry, 当程序编译之后，程序中的所有函数,除了notrace属性

#define notrace __attribute__((no_instrument_function))

的函数头上都会添加上call __fentry__，占用5个字节，__fentry__函数在程序中可以自定义， 比如在Linux kernel中被定义为 retq直接返回。

SYM_FUNC_START(__fentry__)
        retq
SYM_FUNC_END(__fentry__)

 定义成retq的意思是我不想直接使用__fentry__, 其实现也是在内核启动的时候把__fentry__换成了nopl, 然后在需要trace内核函数时，再替换成对应的trampoline(中文: 蹦床).

本篇讲解ftrace(function trace)在用户空间的应用。

以下代码来自此git工程:

https://github.com/x-lugoo/ftracer.git

ftracer.c中对__fentry__函数进行了自定义:

ftracer.c 

asm(
"       .globl __fentry__\n"
"__fentry__:\n"
/* save arguments */
"       push %rax\n"
"       push %rdi\n"
"       push %rsi\n"
"       push %rdx\n"
"       push %rcx\n"
"       push %r8\n"
"       push %r9\n"
"       movq %rsp,%rdi\n"
"       call ftracer\n"
"       pop %r9\n"
"       pop %r8\n"
"       pop %rcx\n"
"       pop %rdx\n"
"       pop %rsi\n"
"       pop %rdi\n"
"       pop %rax\n"
"       ret\n");

上面__fentry__函数的实现把所有传参寄存器(x86_64架构)全部压栈，然后把sp指针传给ftracer()的第一个参数.

__attribute__((used)) void ftracer(struct frame *fr)
{
        if (!tenabled)
                return;
        struct trace *t = &tbuf[tcur++];
        if (tcur >= TSIZE)
                tcur = 0;
        t->tstamp = __builtin_ia32_rdtsc();
        t->src = fr->caller;
        t->dst = fr->callee;
        t->arg1 = fr->rdi;
        t->arg2 = fr->rsi;
        t->arg3 = fr->rdx;
}struct frame {
        uint64_t r9; 
        uint64_t r8; 
        uint64_t rcx;
        uint64_t rdx;
        uint64_t rsi;
        uint64_t rdi;
        uint64_t rax;
        uint64_t callee;
        uint64_t caller;
};

其中callee是被调用函数地址，caller是调用函数地址 ，比如f1()调用f2(), f2函数头上调用了__fentry__,  那么__fentry__ 就可以从frame结构中的rax变量地址之后找到callee和caller

f1() {
  call f2

f2() {
  call __fentry__

ftracer()的实现把函数调用参数，被调用函数，调用函数，函数执行时间戳都存在tbuf中

使用一个测试程序验证ftrace功能：

test.c 

#include "ftracer.h"

#define mb() asm volatile ("" ::: "memory")

void f3(int a, int b, int c)
{
        mb();
}
void f2(int a, int b, int c)
{
        f3(4, 5, 6); 
}
void f1(int a, int b, int c)
{
        f2(7, 8, 9); 
}
main()
{
        ftrace_dump_at_exit(0);
        ftrace_enable();
        f1(1, 2, 3); 
}

函数调用关系:main->f1->f2->f3

编译：

gcc -c ftracer.cgcc -pg -mfentry ftracer.o test.c -o test

执行./test的时候调用ftrace_dump(), 打印出tbuf中的数据，

void ftrace_dump(unsigned max)
                t = &tbuf[i];
                ...
                printf("%llx %llx->%llx %llx %llx %llx\n",
                                t->tstamp,
                                t->src, t->dst,
                                t->arg1, t->arg2, t->arg3);

tbuf中包含函数调用关系和函数执行时时间戳:

./test
2b4fcfe84137ab 4008d1->400893 4 5 6  (f2->f3)
2b4fcfe8413763 4008fe->4008ac 7 8 9  (f1->f2)
2b4fcfe84136ee 40092d->4008d9 1 2 3  (main->f1)

以上函数调用关系对应各个函数代码段：

   function f2:
   0x00000000004008a7 <+0>:    callq  0x400657 <__fentry__>
   0x00000000004008ac <+5>:    push   %rbp
   0x00000000004008ad <+6>:    mov    %rsp,%rbp
   ...
   0x00000000004008cc <+37>:    callq  0x40088e <f3>
   0x00000000004008d1 <+42>:    nop
   0x00000000004008d2 <+43>:    leaveq 
   0x00000000004008d3 <+44>:    retq   

   function f3:
   0x000000000040088e <+0>:    callq  0x400657 <__fentry__>
   0x0000000000400893 <+5>:    push   %rbp
  ...
   0x00000000004008a6 <+24>:    retq   

   function f1
   0x00000000004008d4 <+0>:    callq  0x400657 <__fentry__>
   0x00000000004008d9 <+5>:    push   %rbp
  ...
   0x00000000004008f4 <+32>:    mov    $0x7,%edi
   0x00000000004008f9 <+37>:    callq  0x4008a7 <f2>
   0x00000000004008fe <+42>:    nop
   0x00000000004008ff <+43>:    leaveq 
   0x0000000000400900 <+44>:    retq   

   function main
   0x0000000000400901 <+0>:    callq  0x400657 <__fentry__>
   ...
   0x0000000000400928 <+39>:    callq  0x4008d4 <f1>
   0x000000000040092d <+44>:    mov    $0x0,%eax
   0x0000000000400932 <+49>:    pop    %rbp
   0x0000000000400933 <+50>:    retq   

总结：以上分析了ftracer用于用户空间，可以跟踪函数调用参数和函数执行时间戳.

小编最新一直被催更微信公众号文章，我最近一直在设计优化tracer视频课程，内容已经迭代了四五次了，希望到时候能通俗易懂、图文并茂地讲解Linux内核中function tracer /function graph/ kprobe/kretprobe/trace event 的最底层原理和应用,预期三月下旬发布.

掌握之后将对Linux kernel的研究学习方式和debug方式带来很大的帮助,big picture 如下图所示：

本公众号持续分享实际工作和学习中关于linux内核的知识总结，偶尔也会出一些视频分享，前不久根据Linux实际工程中的底层需求，设计了一个视频《Linux常见锁和lockup检测机制》发布在了阅码场平台。点击左下角阅读原文可以一键报名和试看。