ftrace tracers 之 function、function_graph 使用笔记(二)

最新推荐文章于 2024-07-30 15:47:32 发布
最新推荐文章于 2024-07-30 15:47:32 发布
阅读量1k 收藏 20
点赞数 28
分类专栏： Linux 奥利给工具集 文章标签： linux 驱动开发 android 软件开发 c语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39366560/article/details/125017271
版权

接之前文章 《ftrace tracers 之 function、function_graph 使用笔记(一)》

先从简单的代码流程跟踪使用学起，看下具体如何使用 function 和 function_graph。

功能简介：

1、function 跟踪器可以跟踪内核函数的执行情况，可以通过 set_ftrace_filter 显式指定要跟踪的函数。可以用于跟踪内核某个函数被调用的频次，在被调用的情况。

2、function_graph与function 跟踪器类似，只是function 跟踪器在函数的入口处探测函数，而function_graph跟踪器在函数的入口和出口处跟踪，然后使得其提供了绘制类似于 C 代码源的函数调用图的能力。可以通过 set_graph_function显式指定要生成调用流程图的函数。因此可以用于跟踪内核某个函数内部调用的子函数流程及耗时。

整体架构

基于 ftrace 的内核函数调用跟踪整体架构：
在这里插入图片描述

内核配置：

一般用作产品正式发布的版本，默认tracer 应该是 nop，如果想要使用 其他 tracer 需要打开对应的内核配置宏才行。

比如，今天我们使用到的 function、function_graph，需使能如下对应配置内核宏：

CONFIG_HAVE_FUNCTION_TRACER=y
CONFIG_HAVE_FUNCTION_GRAPH_TRACER=y
CONFIG_FUNCTION_TRACER=y
CONFIG_FUNCTION_GRAPH_TRACER=y

如果配置ok，在系统中会看到类似如下信息：

root:/sys/kernel/tracing # cat available_tracers
function_graph function nop  ...

接下来就可以正常使用 function 和 function_graph 了。

使用说明

1、准备工作

我们主要是为了单个事件或单个函数跟踪，所以排除其他多余的信息干扰。如果是做具体问题分析，则就要根据实际需要进行设置了。

root:/sys/kernel/tracing # echo 0 > tracing_on
root:/sys/kernel/tracing # echo > set_event
root:/sys/kernel/tracing # echo > trace

2、以 sched_wakeup 这个跟踪事件/跟踪点，跟踪函数为例：

root:/sys/kernel/tracing # cat events/sched/sched_wakeup/format
name: sched_wakeup
ID: 87
format:
        field:unsigned short common_type;       offset:0;       size:2; signed:0;
        field:unsigned char common_flags;       offset:2;       size:1; signed:0;
        field:unsigned char common_preempt_count;       offset:3;       size:1; signed:0;
        field:int common_pid;   offset:4;       size:4; signed:1;

        field:char comm[16];    offset:8;       size:16;        signed:0;
        field:pid_t pid;        offset:24;      size:4; signed:1;
        field:int prio; offset:28;      size:4; signed:1;
        field:int success;      offset:32;      size:4; signed:1;
        field:int target_cpu;   offset:36;      size:4; signed:1;

print fmt: "comm=%s pid=%d prio=%d target_cpu=%03d", REC->comm, REC->pid, REC->prio, REC->target_cpu

说明：
1、以上 格式的 sched_wakeup 打印信息，由该跟踪点对应的处理函数 sched_wakeup_handler处理生成。
2、针对 sched_wakeup 进行跟踪的函数为：__traceiter_sched_wakeup。

2.1、通过function 跟踪看下进行跟踪 sched_wakeup 事件的函数 __traceiter_sched_wakeup 被调用情况。
root:/sys/kernel/tracing # echo function > current_tracer
root:/sys/kernel/tracing # echo 1 > options/func_stack_trace
root:/sys/kernel/tracing # echo __traceiter_sched_wakeup > set_ftrace_filter
root:/sys/kernel/tracing # cat set_ftrace_filter
__traceiter_sched_wakeup

ftrace 设置过滤函数过程需要一点时间，稍等片刻。然后：

root:/sys/kernel/tracing # echo 1 > tracing_on

因为是休眠/唤醒相关的函数，所以需要人为制造一次待机/唤醒动作，然后才能看到跟踪日志，如：

root:/sys/kernel/tracing # cat trace
# tracer: function
#
# entries-in-buffer/entries-written: 1035/1035   #P:8
#
#                                _-----=> irqs-off
#                               / _----=> need-resched
#                              | / _---=> hardirq/softirq
#                              || / _--=> preempt-depth
#                              ||| /     delay
#           TASK-PID     CPU#  ||||   TIMESTAMP  FUNCTION
#              | |         |   ||||      |         |
     kworker/0:0-14171   [000] .... 78999.634206: lpi_pinctrl_runtime_resume: lpi_pinctrl_runtime_resume: enter
     kworker/0:0-14171   [000] .... 78999.634220: lpi_pinctrl_runtime_resume: lpi_pinctrl_runtime_resume: exit
     ...
     kworker/0:0-14171   [000] .... 78999.634759: swrm_runtime_suspend: swrm_runtime_suspend: pm_runtime: suspend done state: 3
     ...
     kworker/0:0-14171   [000] .... 78999.761684: lpi_pinctrl_runtime_suspend: lpi_pinctrl_runtime_suspend: enter
     kworker/0:0-14171   [000] .... 78999.763192: lpi_pinctrl_runtime_suspend: lpi_pinctrl_runtime_suspend: exit

被调用的地方和过程有很多，以上只提取了一部分信息，可以看到 一次对称的 resume / suspend 过程， 在此过程，__traceiter_sched_wakeup 有被 pinctrl 调用的情况。

2.2、通过function_graph 跟踪 看下进行跟踪 sched_wakeup 事件的函数 __traceiter_sched_wakeup 调用关系情况。

通过function 跟踪看下进行跟踪sched_wakeup 的函数 __traceiter_sched_wakeup 被调用情况。

root:/sys/kernel/tracing # echo > set_ftrace_filter
root:/sys/kernel/tracing # echo function_graph > current_tracer
root:/sys/kernel/tracing # echo 1 > options/funcgraph-tail
root:/sys/kernel/tracing # echo  __traceiter_sched_wakeup > set_graph_function
root:/sys/kernel/tracing # cat set_graph_function
__traceiter_sched_wakeup

注意，使用 echo > set_ftrace_filter 清除已指定的函数是必须要的操作，否则无法进行 function_graph 绘制。使用echo 1 > options/funcgraph-tail 可以增加函数尾部注释。

ftrace 设置过滤函数过程需要一点时间，稍等片刻。同样，使能 tracing_on 之后，需要人为制造一次休眠唤醒，然后 cat 抓取日志：

root:/sys/kernel/tracing # echo 1 > tracing_on
root:/sys/kernel/tracing # cat trace
# tracer: function_graph
#
# CPU  DURATION                  FUNCTION CALLS
# |     |   |                     |   |   |   |
------------------------------------------
1) kworker-14181  => kworker-14620
------------------------------------------
1)               |  /* lpi_pinctrl_runtime_suspend: enter */
------------------------------------------
1) kworker-14181  => kworker-14620
------------------------------------------
1)               |  /* lpass_hw_vote_unprepare: core vote clk_id 10a  */
1)               |  /* digital_cdc_rsc_mgr_hw_vote_disable */
1)               |  /* lpi_pinctrl_runtime_suspend: exit */

以上只是部分信息节选，可能函数 __traceiter_sched_wakeup 本身就是 ftrace 进行跟踪 sched_wakeup 这个 event 的，函数本身并没有复杂的调用流程关系，所以我们看到的 function关系、 function_graph关系也都比较简单。

以上相当于使用 ftrace 跟踪了一个 ftrace 的跟踪事件的函数，^_^ 。

下面以一个常规内核函数为例再看下。

3、以常规内核函数 pm_wakeup_ws_event 为例：

3.1、使用function跟踪 pm_wakeup_ws_event。
root:/sys/kernel/tracing # echo 0 > tracing_on
root:/sys/kernel/tracing # echo > set_event
root:/sys/kernel/tracing # echo > trace
root:/sys/kernel/tracing # echo > set_graph_function
root:/sys/kernel/tracing # echo function > current_tracer
root:/sys/kernel/tracing # echo 1 > options/func_stack_trace
root:/sys/kernel/tracing # echo pm_wakeup_ws_event > set_ftrace_filter
root:/sys/kernel/tracing # cat set_ftrace_filter
pm_wakeup_ws_event
root:/sys/kernel/tracing # echo 1 > tracing_on

ftrace 设置过滤函数过程需要一点时间，稍等片刻。然后：

root:/sys/kernel/tracing # cat trace
# tracer: function
#
# entries-in-buffer/entries-written: 0/0   #P:8
#
#                                _-----=> irqs-off
#                               / _----=> need-resched
#                              | / _---=> hardirq/softirq
#                              || / _--=> preempt-depth
#                              ||| /     delay
#           TASK-PID     CPU#  ||||   TIMESTAMP  FUNCTION
#              | |         |   ||||      |         |
   ...
   kworker/1:2-16429   [001] .... 127214.479918: lpi_pinctrl_runtime_suspend: lpi_pinctrl_runtime_suspend: enter
   ...
   kworker/1:2-16429   [001] .... 127214.483106: lpi_pinctrl_runtime_suspend: lpi_pinctrl_runtime_suspend: exit
   ...
3.2、使用function_graph跟踪 pm_wakeup_ws_event。
root:/sys/kernel/tracing # echo 0 > tracing_on
root:/sys/kernel/tracing # echo > set_event
root:/sys/kernel/tracing # echo > trace
root:/sys/kernel/tracing # echo > set_ftrace_filter
root:/sys/kernel/tracing # echo function_graph > current_tracer
root:/sys/kernel/tracing # echo 1 > options/funcgraph-tail
root:/sys/kernel/tracing # echo  pm_wakeup_ws_event> set_graph_function
root:/sys/kernel/tracing # cat set_graph_function
pm_wakeup_ws_event
root:/sys/kernel/tracing # echo 1 > tracing_on
root:/sys/kernel/tracing # cat trace

ftrace 设置过滤函数过程需要一点时间，稍等片刻。然后：

root:/sys/kernel/tracing # cat trace
root:/sys/kernel/tracing # cat trace| head
# tracer: function_graph
#
# CPU  DURATION                  FUNCTION CALLS
# |     |   |                     |   |   |   |
 ------------------------------------------
 1) kworker-14620  =>  HwBinde-4845
 ------------------------------------------
 1)               |  pm_wakeup_ws_event() {
 1)   1.928 us    |    _raw_spin_lock_irqsave();
 1)               |    wakeup_source_activate() {
 1)               |      ktime_get() {
 1)   1.198 us    |        arch_counter_read();
 1)   3.594 us    |      } /* ktime_get */
 1)   6.615 us    |    } /* wakeup_source_activate */
 1)               |    s2idle_wake() {
 1)   1.146 us    |      _raw_spin_lock_irqsave();
 1)   1.145 us    |      _raw_spin_unlock_irqrestore();
 1)   5.469 us    |    } /* s2idle_wake */
 1)               |    wakeup_source_deactivate() {
 1)               |      ktime_get() {
 1)   1.197 us    |        arch_counter_read();
 1)   3.333 us    |      } /* ktime_get */
 1)   1.146 us    |      del_timer();
 1)   7.865 us    |    } /* wakeup_source_deactivate */
 1)   1.146 us    |    _raw_spin_unlock_irqrestore();
 1) + 38.334 us   |  } /* pm_wakeup_ws_event */
 1)               |  pm_wakeup_ws_event() {
 1)   1.562 us    |    _raw_spin_lock_irqsave();
 1)               |    wakeup_source_activate() {
 1)               |      ktime_get() {
 1)   1.198 us    |        arch_counter_read();
 1)   3.386 us    |      } /* ktime_get */
 1)   5.625 us    |    } /* wakeup_source_activate */
 1)               |    s2idle_wake() {
 1)   1.146 us    |      _raw_spin_lock_irqsave();
 1)   1.146 us    |      _raw_spin_unlock_irqrestore();
 1)   5.365 us    |    } /* s2idle_wake */
 1)               |    wakeup_source_deactivate() {
 1)               |      ktime_get() {
 1)   1.146 us    |        arch_counter_read();
 1)   3.281 us    |      } /* ktime_get */
 1)   1.198 us    |      del_timer();
 1)   7.761 us    |    } /* wakeup_source_deactivate */
 1)   1.875 us    |    _raw_spin_unlock_irqrestore();
 1) + 30.156 us   |  } /* pm_wakeup_ws_event */
 ------------------------------------------
root:/sys/kernel/tracing # ps -A| grep 14620
root         14620     2       0      0 worker_thread       0 I [kworker/1:2-events]
3.3 、函数 pm_wakeup_ws_event 原型。
/** drivers/base/power/wakeup.c
 * pm_wakeup_ws_event - Notify the PM core of a wakeup event.
 * @ws: Wakeup source object associated with the event source.与事件源关联的唤醒源对象。
 * @msec: Anticipated event processing time (in milliseconds).预期的事件处理时间（以毫秒为单位）。
 * @hard: If set, abort suspends in progress and wake up from suspend-to-idle.
 *
 * Notify the PM core of a wakeup event whose source is @ws that will take approximately @msec milliseconds to be processed by the kernel.  If @ws is not active, activate it.  If @msec is nonzero, set up the @ws' timer to execute pm_wakeup_timer_fn() in future.
 * 通知 PM 内核有一个唤醒事件，它的源是 @ws，内核处理大约需要 @msec 毫秒。 如果@ws 未激活，请激活它。 如果@msec 不为零，则设置@ws 的计时器以在将来执行 pm_wakeup_timer_fn()。
 *
 * It is safe to call this function from interrupt context. 在中断上下文调用这个函数是安全的。
 */
void pm_wakeup_ws_event(struct wakeup_source *ws, unsigned int msec, bool hard)
{
	unsigned long flags;
	unsigned long expires;

	if (!ws)
		return;

	spin_lock_irqsave(&ws->lock, flags);

	wakeup_source_report_event(ws, hard);

	if (!msec) {
		wakeup_source_deactivate(ws);
		goto unlock;
	}

	expires = jiffies + msecs_to_jiffies(msec);
	if (!expires)
		expires = 1;

	if (!ws->timer_expires || time_after(expires, ws->timer_expires)) {
		mod_timer(&ws->timer, expires);
		ws->timer_expires = expires;
	}

 unlock:
	spin_unlock_irqrestore(&ws->lock, flags);
}
EXPORT_SYMBOL_GPL(pm_wakeup_ws_event);

ref:
https://baijiahao.baidu.com/s?id=1727506047428430246&wfr=spider&for=pc
https://support.huaweicloud.com/moredocuments-kunpengdevps/kunpengsys_06_0100_0.html

程序员秘书
关注
专栏目录
RK3568平台开发系列讲解（调试篇）分析内核调用的利器 ftrace
内核笔记
06-26 255
Ftrace 是一个自 Linux 内核 2.6 版本起就支持的内核调试工具。最初，Ftrace 主要用于函数级别的跟踪（function trace），但经过不断发展，Ftrace 现已成为一个通用的调试框架，能够实现多种跟踪目的。
RT-linux之cyclictest性能测试工具的分析学习笔记1
weixin_41636971的博客
08-27 1453
安装 基于ubuntu16.04安装参考博客： https://blog.csdn.net/weixin_43455581/article/details/103899362 https://blog.csdn.net/hbxiang200/article/details/86244772 Cyclictest 测试 带RT-linux测试结果： yaru@yaru-NUC:~$ sudo cyclictest -t 4 -p 80 -n [sudo] password for yaru: # /dev/c
使用 Ftrace 跟踪内核函数调用,内核调试必备！
最新发布
weixin_51342637的博客
07-30 505
最近使用eBPF做可观测性的项目，接触到了一些内核跟踪工具，其中就包括Ftrace。Ftrace 是 Linux 内核自带的跟踪工具，能够追踪内核中的函数调用、上下文切换、中断处理等。通过 Ftrace，开发人员可以详细了解内核的运行状态，从而更好地优化和调试内核模块。Ftrace 的配置和使用非常灵活，可以通过命令行工具和配置文件来控制其行为。Ftrace 提供了多种跟踪模式，其中主要包括function和两种模式。function模式是 Ftrace 最基本的跟踪模式，用于记录内核函数的调用。
Function_Graph
03-22
功能图 QTimer，QMouseEvent（按下停止键，可以查看数据）。
ftrace之function及function_graph使用
M120674的专栏
01-04 4680
一 用途 （1）function 主要用于跟踪内核函数的调用栈 （2）function_graph 永固跟踪内核函数
Ftrace function graph简介
内核工匠
08-05 1401
引言由于android开发的需要与systrace的普及，现在大家在进行性能与功耗分析时候，经常会用到systrace跟pefetto. 而systrace就是基于内核的event tracing来实现的。以如下的一段pefetto为例。可以看到tid=1845的线程，在被唤醒到CPU5上之后，在runnable状态上维持了503us才开始运行，一共运行了498us.通过...
ftrace跟踪内核_如何提供给ftrace function_graph追踪Linux内核的功能？
weixin_39860946的博客
12-19 92
I want to trace a function during kernel boot process with ftrace function_graph to understand what it does, but it is not available in available_filter_functions.I tried to export it with EXPORT_SYMB...
Linux ftrace 1.3、tracer (function、function_graph、irq_off)
pwl999的博客
06-08 6673
如trace event一章的描述，任何一种trace都离不开以下流程： 函数插桩。使用各种插桩方式把自己的trace函数插入到需要跟踪的probe point上； input trace数据。在trace的probe函数被命中时，会存储数据到ringbuffer当中；这里还包括filter和trigger功能； ouput trace数据。用户或者程序需要读出trace数据，根据需要输出ra...
ftrace跟踪内核_用Ftrace跟踪内核模块
weixin_39815031的博客
12-19 297
如果你需要分析一个内核模块的函数调用数或者希望得到各语句段的执行时间，那么这篇文章很适合您。Ftrace抛开内核代码跟踪领域的对手如KFT等进入Linux官方内核，正说明其功能强大性能稳定。Ftrace 的作用是帮助开发人员了解Linux内核的运行时行为，以便进行故障调试或性能分析。网上有很多关于ftrace的介绍及使用的文章，在此就不赘述，本文主要就使用ftrace跟踪分析内核模块，说明其详细操...
深入ftrace function graph原理
生活需要深度
03-13 497
此函数在文件关闭时执行，把当前的iter->hash移动到旧的hash(ops->func_hash->filter_hash)，在移动过程中，对比两个hash中的目标函数，按需更新每个函数的rec->flags的计数以及相关功能flags，后以FTRACE_UPDATE_CALLS 命令执行 ftrace_run_update_code()，此函数会检测每个函数 rec->flags 的状态，执行 FTRACE_UPDATE_MAKE_CALL 操作，将当前函数入口替换为 ftrace_caller。
Function-Graphing:图形化多项式、指数函数、正弦函数和随机游走的 GUI
06-19
函数绘图 图形化多项式、指数函数、正弦函数和随机游走的图形用户界面。 写于 2014 年 12 月。 随机游走 正弦 指数 抛物线
免费实用函数绘图 functiongraph
07-25
输入数学公式，便可以绘制出对应的函数图形， 学习数学很有用的哟
graphFunction:基于canvas的数学函数曲线绘制插件
05-19
只是用来画函数图像的 默认参数 options = { width: 600, height: 400, backgroundColor: "white",//背景色 animation: true,//是否显示动画 xUnit: { //x轴单位 pixel: 100,//一个单位有多少像素 value: 1,//单位值 mince: 1,//将一个单位细分为多少，值越大，精度越高，默认为1，即不细分 showScale: function (value) { //显示刻度值的条件 return true; }, convert: function (value) {//单位转换
trace系列2 - function graph trace学习笔记
HZero
10-12 1257
1.前言 2. function graph trace钩子函数替换过程 3. function graph trace执行过程 (gdb) disassemble ftrace_caller Dump of assembler code for function ftrace_caller: 0xffff80001002c370 <+0>: stp x29, x30, [sp,#-16]! 0xffff80001002c374 <+4>: mov
ftrace - Function Tracer
jackie_samsung的专栏
03-20 441
https://www.kernel.org/doc/Documentation/trace/ftrace.txt
深入ftrace function原理
生活需要深度
03-13 344
这种是静态的ftrace，ftrace是有一个全局的ftrace_trace_function变量，每当我们设置了一个trace，这个ftrace_trace_function就指向我们设置的trace的回调函数，如果ftrace_trace_function不等于默认的桩函数ftrace_stub，则调用调用function tracer的回调函数：ftrace_trace_function()第二步，blk_update_request中的nop被替换为ftrace_caller。
【kernel doc】【trace】ftrace - Function Tracer
sjc2870的博客
06-27 478
原文链接： Function Tracer 介绍   Ftrace是一个内部的tracer，用以帮助系统开发者和设计者来知道内核正在做什么。它可以用来调试或者分析用户空间的延迟和性能问题。   尽管 ftrace 通常只被认为是函数tracer，但它实际上是多个跟踪实用程序的框架。   在检测中断禁用和启用之间，以及抢占和从任务被唤醒到任务实际调度的时间发生的事情时，是有延迟的。   ftrace最常用的一个用法是事件跟踪。内核中有数百个静态事件点，可以通过 tracefs 文件系统启用它们，以查看内核某些
/dev/mem mmap失败 -- 使用ftrace function_graph来查看代码运行路径
chensong_2000的博客
06-23 1129
客户反应应用在打开/dev/mem，然后通过mmap来映射内存的时候，mmap会失效。还有一个信息就是该应用在4.4内核运行正常，在4.19内核运行失效 我对/dev/mem这个设备代码不是很了解，最多也就是直到代码在/driver/char/mem.c, file operations里面mmap对应的函数是mmap_mem. 我在4.19内核的mmap_mem加了printk，但很不幸，printk的打印并没有出现，说明没有运行mmap_mem函数。那么，从用户空间调用mmap到内核设备的mmap（
ftrace_trace_function
07-19
`ftrace` 是Linux内核调试工具，它允许用户跟踪特定内核函数的执行行为。`ftrace_trace_function` 是 `ftrace` 中的一个功能，用于设置一个函数的追踪点，当该函数被调用时，会记录下相关的事件信息。以下是如何使用 `ftrace` 来追踪一个函数的基本步骤： 1. **开启ftrace**: 首先，你需要启用 `ftrace` 并配置要追踪的函数。在终端中运行（以 root 用户权限）: ```shell echo "b function_name" > /sys/kernel/debug/tracing/tracepoints/myfunc:entry ``` 这里，`function_name` 是你要追踪的函数名，`myfunc:entry` 表示在函数入口处追踪。 2. **开始捕获**: 开始 `ftrace` 的捕获之前，可能需要重启系统或者执行 `ftrace restart` 命令使更改生效。然后可以启动一个会触发函数执行的任务，如运行一个程序。 3. **收集数据**: 使用 `ftrace` 提供的命令（如 `trace-cmd` 或 `perf record`）来收集数据。例如： ```shell trace-cmd dump | tee ftrace_output.txt ``` 4. **分析结果**: 保存的数据会被写入到 `ftrace_output.txt` 文件中，你可以通过文本编辑器查看，或者使用 `trace-cmd report` 来分析追踪点的执行情况。 请注意，不同的内核版本和配置可能会有所不同，上述步骤仅供参考。如果要在特定环境中使用 `ftrace_trace_function`，建议查阅具体的内核文档或者参考资料。[^4]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值