动态追踪技术(三)：trace your kernel functions!

最新推荐文章于 2024-02-01 12:04:23 发布
最新推荐文章于 2024-02-01 12:04:23 发布
阅读量382 收藏
点赞数
文章标签： 操作系统 git 运维
原文链接：https://my.oschina.net/zijingshanke/blog/912088
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

Ftrace是一个设计用来帮助开发者和设计者监视内核的追踪器，可用于调试或分析延迟以及性能问题。ftrace令人印象最深刻的是作为一个function tracer，内核函数调用、耗时等情况一览无余。另外，ftrace最常见的用途是事件追踪，通过内核是成百上千的静态事件点，看到系统内核的哪些部分在运行。实际上，ftrace更是一个追踪框架，它具备丰富工具集：延迟跟踪检查、何时发生中断、任务的启用、禁用及抢占等。在ftrace的基线版本之上，还有很多第三方提供的开源工具，用于简化操作或者提供数据可视化等扩展应用。

一、Introduction

Developer(s): Steven Rostedt(RedHat) and others Initial release: October 9, 2008; Operating system: Linux （merged into the Linux kernel mainline in kernel version 2.6.27） Type: Kernel extension License: GNU GPL Website: www.kernel.org/doc/Documentation/trace

二、ABC

在使用ftrace之前，需要确认调试目录是否已经挂载，默认目录：/sys/kernel/debug/ 。

debugfs是Linux内核中一种特殊的文件系统，非常易用、基于RAM，专门设计用于调试。（since version 2.6.10-rc3，https://en.wikipedia.org/wiki/Debugfs)。

mount -t debugfs none /sys/kernel/debug
或者指定到自己的目录
mkdir /debug
mount -t debugfs nodev /debug

挂载之后会自动创建如下文件：

/sys/kernel/debug# ls -lrt
drwxr-xr-x.  2 root root 0 12月 28 17:24 x86
drwxr-xr-x.  3 root root 0 12月 28 17:24 boot_params
drwxr-xr-x. 34 root root 0 12月 28 17:24 bdi
-r--r--r--.  1 root root 0 12月 28 17:24 gpio
drwxr-xr-x.  3 root root 0 12月 28 17:24 usb
drwxr-xr-x.  4 root root 0 12月 28 17:24 xen
drwxr-xr-x.  6 root root 0 12月 28 17:24 tracing
drwxr-xr-x.  2 root root 0 12月 28 17:24 extfrag
drwxr-xr-x.  2 root root 0 12月 28 17:24 dynamic_debug
drwxr-xr-x.  2 root root 0 12月 28 17:24 hid
-rw-r--r--.  1 root root 0 12月 28 17:24 sched_features
drwxr-xr-x.  2 root root 0 12月 28 17:24 mce
drwxr-xr-x.  2 root root 0 12月 28 17:24 kprobes
-r--r--r--.  1 root root 0 12月 28 17:24 vmmemctl
/sys/kernel/debug/tracing# ls -lrt
-rw-r--r--.  1 root root 0 12月 28 17:24 tracing_thresh
-rw-r--r--.  1 root root 0 12月 28 17:24 tracing_on
-rw-r--r--.  1 root root 0 12月 28 17:24 tracing_max_latency
-rw-r--r--.  1 root root 0 12月 28 17:24 tracing_enabled
-rw-r--r--.  1 root root 0 12月 28 17:24 tracing_cpumask
drwxr-xr-x.  2 root root 0 12月 28 17:24 trace_stat
-r--r--r--.  1 root root 0 12月 28 17:24 trace_pipe
-rw-r--r--.  1 root root 0 12月 28 17:24 trace_options
--w--w----.  1 root root 0 12月 28 17:24 trace_marker
-rw-r--r--.  1 root root 0 12月 28 17:24 trace_clock
-rw-r--r--.  1 root root 0 12月 28 17:24 trace
-rw-r--r--.  1 root root 0 12月 28 17:24 sysprof_sample_period
-r--r--r--.  1 root root 0 12月 28 17:24 set_graph_function
-rw-r--r--.  1 root root 0 12月 28 17:24 set_ftrace_pid
-rw-r--r--.  1 root root 0 12月 28 17:24 set_ftrace_notrace
-r--r--r--.  1 root root 0 12月 28 17:24 saved_cmdlines
-r--r--r--.  1 root root 0 12月 28 17:24 README
drwxr-xr-x.  2 root root 0 12月 28 17:24 options
-rw-r--r--.  1 root root 0 12月 28 17:24 function_profile_enabled
-r--r--r--.  1 root root 0 12月 28 17:24 dyn_ftrace_total_info
-rw-r--r--.  1 root root 0 12月 28 17:24 buffer_size_kb
-r--r--r--.  1 root root 0 12月 28 17:24 available_tracers
-r--r--r--.  1 root root 0 12月 28 17:24 available_filter_functions
-rw-r--r--.  1 root root 0 12月 28 17:24 set_event
-r--r--r--.  1 root root 0 12月 28 17:24 printk_formats
drwxr-xr-x. 34 root root 0 12月 28 17:24 per_cpu
drwxr-xr-x. 24 root root 0 12月 28 17:24 events
-r--r--r--.  1 root root 0 12月 28 17:24 available_events
-r--r--r--.  1 root root 0 12月 28 17:24 kprobe_profile
-rw-r--r--.  1 root root 0 12月 28 17:24 kprobe_events
-r--r--r--.  1 root root 0 12月 28 17:24 stack_trace
-rw-r--r--.  1 root root 0 12月 28 17:24 stack_max_size
-rw-r--r--.  1 root root 0 5月  31 11:50 current_tracer
-rwxr-xr-x.  1 root root 0 5月  31 11:57 set_ftrace_filter

三、BASIC

1. Function tracer

以Function tracer为例，结果存储在 trace，该文件类似一张报表，该表将显示 4 列信息。首先是进程信息，包括进程名和PID ；第二列是CPU；第三列是时间戳；第四列是函数信息，缺省情况下，这里将显示内核函数名以及它的上一层调用函数。

cd /sys/kernel/debug/tracing
echo function > current_tracer
cat trace

# tracer: function
#
#  TASK-PID   CPU#  TIMESTAMP        FUNCTION
#   |  |       |  
gmond-6684  [004] 13285965.088308: _spin_lock <-hrtimer_interrupt
gmond-6684  [004] 13285965.088308: ktime_get_update_offsets <-hrtimer_interrupt
gmond-6684  [004] 13285965.088309: __run_hrtimer <-hrtimer_interrupt
gmond-6684  [004] 13285965.088309: __remove_hrtimer <-__run_hrtimer
gmond-6684  [004] 13285965.088309: tick_sched_timer <-__run_hrtimer
gmond-6684  [004] 13285965.088309: ktime_get <-tick_sched_timer
gmond-6684  [004] 13285965.088310: tick_do_update_jiffies64 <-tick_sched_timer
gmond-6684  [004] 13285965.088310: update_process_times <-tick_sched_timer

2. Function graph tracer

Function graph tracer 和 function tracer 类似，但输出为函数调用图，更加容易阅读：

# tracer: function_graph
#
#     TIME        CPU  DURATION                  FUNCTION CALLS
#      |          |     |   |                     |   |   |   |
 21)   ==========> |
 21)               |  smp_apic_timer_interrupt() {
 31)   ==========> |
 31)               |  smp_apic_timer_interrupt() {
 8)               |  smp_apic_timer_interrupt() {
 11)   2.598 us    |    native_apic_mem_write();
 18)   3.106 us    |    native_apic_mem_write();
 30)   ==========> |
 30)               |  smp_apic_timer_interrupt() {
  3)   3.590 us    |    native_apic_mem_write();
 22)   2.944 us    |    native_apic_mem_write();
  7)   3.392 us    |    native_apic_mem_write();
 17)   ==========> |
 17)               |  smp_apic_timer_interrupt() {
 27)   ==========> |
 27)               |  smp_apic_timer_interrupt() {
 16)   ==========> |
 16)               |  smp_apic_timer_interrupt() {

Linux ftrace tracers

四、体系结构

Ftrace有两大组成部分，framework和一系列的tracer 。每个tracer完成不同的功能，它们统一由framework管理。 ftrace 的trace信息保存在ring buffer中，由framework负责管理。Framework 利用debugfs建立tracing目录，并提供了一系列的控制文件。

Linux ftrace架构示意图

ftrace is a dynamic tracing system. 当你开始“ftracing”一个内核函数的时候，该函数的代码实际上就已经发生变化了。内核将在程序集中插入一些额外的指令，使得函数调用时可以随时通知追踪程序。

WARNNING:使用ftrace追踪内核将有可能对系统性能产生影响，追踪的函数越多，开销越大。 使用者必须提前做好准备工作，生产环境必须谨慎使用。

#cat available_tracers //查看支持的tracers
blk kmemtrace function_graph wakeup_rt wakeup function sysprof sched_switch initcall nop

五、Useful Tools

1. trace-cmd

trace-cmd是一个非常有用的Ftrace命令行工具。

sudo apt-get install trace-cmd
或者
git clone git://git.kernel.org/pub/scm/linux/kernel/git/rostedt/trace-cmd.git

使用方法：


sudo trace-cmd record --help #help
sudo trace-cmd record -p function -P 123456 #record for PID
sudo trace-cmd record -p function -l do_page_fault #record for function
  plugin 'function'
Hit Ctrl^C to stop recording

trace.dat

$ sudo trace-cmd report
          chrome-15144 [000] 11446.466121: function:             do_page_fault
          chrome-15144 [000] 11446.467910: function:             do_page_fault
          chrome-15144 [000] 11446.469174: function:             do_page_fault
          chrome-15144 [000] 11446.474225: function:             do_page_fault
          chrome-15144 [000] 11446.474386: function:             do_page_fault
          chrome-15144 [000] 11446.478768: function:             do_page_fault
 CompositorTileW-15154 [001] 11446.480172: function:             do_page_fault
          chrome-1830  [003] 11446.486696: function:             do_page_fault
 CompositorTileW-15154 [001] 11446.488983: function:             do_page_fault
 CompositorTileW-15154 [001] 11446.489034: function:             do_page_fault
 CompositorTileW-15154 [001] 11446.489045: function:             do_page_fault

在很有情况下不能使用函数追踪，需要依赖 事件追踪 的支持，例如：

# cat available_events  //查看支持的事件类型
power:power_start
power:power_frequency
power:power_end

sched:sched_kthread_stop
sched:sched_kthread_stop_ret
sched:sched_wait_task
sched:sched_wakeup
sched:sched_wakeup_new
sched:sched_switch
sched:sched_migrate_task
sched:sched_process_free
sched:sched_process_exit
sched:sched_process_wait
sched:sched_process_fork
sched:sched_stat_wait
sched:sched_stat_sleep
sched:sched_stat_iowait
sched:sched_stat_runtime

sudo trace-cmd record -e sched:sched_switch
sudo trace-cmd report

输出如下：

 16169.624862:   Chrome_ChildIOT:24817 [112] S ==> chrome:15144 [120]
 16169.624992:   chrome:15144 [120] S ==> swapper/3:0 [120]
 16169.625202:   swapper/3:0 [120] R ==> Chrome_ChildIOT:24817 [112]
 16169.625251:   Chrome_ChildIOT:24817 [112] R ==> chrome:1561 [112]
 16169.625437:   chrome:1561 [112] S ==> chrome:15144 [120]

切换路径：PID 24817 -> 15144 -> kernel -> 24817 -> 1561 -> 15114。

2. perf-tools

perf-tools 是性能调试大神Brendan Gregg开发的一个工具包，提供了很多强大的功能，例如： iosnoop: 磁盘I/O分析详细包括延迟 iolatency: 磁盘I/O分析概要(柱状图) execsnoop: 追踪进程exec() opensnoop: 追踪open()系统调用，包含文件名 killsnoop: 追踪kill()信号（进程和信号详细）

代码下载：https://github.com/brendangregg/perf-tools

# ./execsnoop  //显示新进程和参数：
Tracing exec()s. Ctrl-C to end.
   PID   PPID ARGS
 22898  22004 man ls
 22905  22898 preconv -e UTF-8
 22908  22898 pager -s
 22907  22898 nroff -mandoc -rLL=164n -rLT=164n -Tutf8
 22906  22898 tbl
 22911  22910 locale charmap
 22912  22907 groff -mtty-char -Tutf8 -mandoc -rLL=164n -rLT=164n
 22913  22912 troff -mtty-char -mandoc -rLL=164n -rLT=164n -Tutf8
 22914  22912 grotty


# ./iolatency -Q  //测量设备I/O延迟
Tracing block I/O. Output every 1 seconds. Ctrl-C to end.
  >=(ms) .. <(ms)   : I/O      |Distribution                          |
       0 -> 1       : 1913     |######################################|
       1 -> 2       : 438      |#########                             |
       2 -> 4       : 100      |##                                    |
       4 -> 8       : 145      |###                                   |
       8 -> 16      : 43       |#                                     |
      16 -> 32      : 43       |#                                     |
      32 -> 64      : 1        |#                                     |
[...]

六、可视化工具:KernelShark

KernelShark是trace-cmd的前端工具，提供了对trace.dat的可视化分析（Graph View 、List View、Simple and Advance filtering）。 Linux ftrace KernelShark

Linux ftrace KernelShark Filters

参考文献

推荐电子书：《Linux Perf Master》

以Linux性能为核心，覆盖评估诊断、监控、优化工具、方法论和参考案例,欢迎订阅、下载、批评指正。 本书发表在GitBook平台: https://www.gitbook.com/book/riboseyim/linux-perf-master/details

更多精彩内容扫码关注公众号：RiboseYim's Blog：http://riboseyim.github.io 微信公众号

转载于:https://my.oschina.net/zijingshanke/blog/912088

weixin_33860553
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
安卓系统修改系统内核绕过TracerPid检测--反防调试
weixin_40418457的博客
07-19 851
作者子炎 背景： 得到一个Android的CrackMe来考察逆向知识，分析后发现其关键函数位于native so库中，并且在函数开始时启动了线程进行TracerPid检测的反调试，当发现程序被调试时会直接杀死应用。虽然题目最后卡在了native 逆向与反调试绕过这里，下去后我学习了下如何绕过这个反调试。主要是两种：（1）patch so，直接修改关键值来绕过；（2）修改系统内核文件来将TracerPid写死为0。刚好我手头有一个之前做实验已root的红米 note 4，便决定采用修改系统内核的方式，一劳永
ASP常用函数:Trace()
10-31
- **ASP (Active Server Pages)**：一种动态网页技术标准，由微软公司开发。它可以在服务器端执行脚本（例如VBScript或JScript）来创建动态网页内容。 - **Trace函数**：在ASP开发中用于调试的一种自定义函数，主要...
【kernel doc】【trace】ftrace - Function Tracer
sjc2870的博客
06-27 464
原文链接： Function Tracer 介绍   Ftrace是一个内部的tracer，用以帮助系统开发者和设计者来知道内核正在做什么。它可以用来调试或者分析用户空间的延迟和性能问题。   尽管 ftrace 通常只被认为是函数tracer，但它实际上是多个跟踪实用程序的框架。   在检测中断禁用和启用之间，以及抢占和从任务被唤醒到任务实际调度的时间发生的事情时，是有延迟的。   ftrace最常用的一个用法是事件跟踪。内核中有数百个静态事件点，可以通过 tracefs 文件系统启用它们，以查看内核某些
<Android> 实时监控记录Android的Kernel和上层LOG
Lulixue的专栏
07-03 1200
启动脚本: MonitorLog.bat @echo off set &quot;TO_NUL= &amp;gt;NUL 2&amp;gt;NUL&quot; set DEBUG=0 if &quot;%1&quot; == &quot;cmd&quot; ( @echo on set DEBUG=1 set &quot;TO_NUL=&quot; ) echo Wait for devi
【开发工具】【Ftrace】内核追踪器（ftrace）的使用
诸葛一帆丶的博客
03-29 3303
本文转载自：https://blog.csdn.net/longerzone/article/details/16884703 因为对方已经写的非常详细了，暂时没有什么需要加的内容，就直接转载了. 目录 Ftrace简介 Ftrace的应用场景 Ftrace的配置 Ftrace 的基本使用步骤 Ftrace 的进阶使用 Ftrace 提供的函数使用 简单的 Ftrace 脚本案例 Ftrace简介 Ftrace 是一个内核中的追踪器，用于帮助系统开发者或设计者查看内核运行情况，它可.
linux内核内置trace工具使用简介
热门推荐
专注于嵌入式开发
03-30 1万+
使用内核内置的trace工具，可以跟踪具体某个进程的内核函数调用过程，并且可以统计到每个函数的运行时间，对优化系统性能有一定的帮助 内核trace工具使用方法如下： 1.修改内核配置，支持trace Kernel hacking  --->  [*] Tracers  --->[*]   Kernel Function Tracer                              
异构系统链路追踪——滴滴 trace 实践.pdf
05-22
### 异构系统链路追踪——滴滴trace实践 #### 背景 随着微服务架构在滴滴等大型互联网公司的广泛应用，系统的复杂性不断提高，不同服务之间的交互也日益频繁。这导致传统的监控方式难以满足需求，特别是在异构系统...
ajhanwar.github.io:我的个人网站！
04-07
要测试这些更改，请在源文件夹中打开一个终端，然后使用jekyll serve --incremental --trace将其在本地服务器上可用（通常为 ）。 --incremental标志可确保您所做的任何更改都会实时反映在浏览器中，如果在更改...
3Dray_tracing.rar_3Dray_ray trace matlab_三维_三维射线追踪_基于射线
07-14
基于matlab做的三维射线追踪的源代码。供大家交流之用。
计算机网络技术实验：实验二 交换机基本配置.doc
11-28
计算机网络技术实验：实验二 交换机基本配置 计算机网络技术实验：实验二 交换机基本配置是计算机网络技术实验的第二个实验，主要内容是交换机的基本配置。实验的目的是掌握交换机的本地配置方法，配置交换机支持 ...
内核trace框架
qq_42584874的博客
03-14 3414
Linux内核trace ​ 从广义上讲，linux中的跟踪系统由三层组成：前端、跟踪框架和事件源 ​ 事件源是跟踪数据的来源，跟踪框架运行在负责数据收集、计数的内核中，如果它支持内核编程跟踪程序（例如：eBPF），它还以有效的方式执行聚合、汇总和统计。跟踪前端工具提供了与跟踪框架通信的用户界面，使用后处理跟踪器（如果有）进行统计、汇总和聚合采样，并向最终用户进行结果可视化。 术语 性能分析：性能分析的目的是为了获取跟踪事件的样本 跟踪：跟踪记录所有的trace事件 探针：动态或者静态代码中的一种插装
使用functrace辅助进行Go项目源码分析
TonyBai
06-04 246
在《像跟踪分布式服务调用那样跟踪Go函数调用链》[1]：https://github.com/bigwhite/functrace。这个小工具不仅仅是分享给大家的，我自己在工作和学习时也在...
[Android][kernel][Linux]使用ftrace抓取IO相关信息
Ryan ZHENG的专栏
03-11 2839
[Android][kernel][Linux]使用ftrace抓取IO相关信息 ftrace介绍 官方介绍可以在kernel/Documentation/trace/ftrace.txt中查看，如下是截取片段后的翻译结果： ftrace (**f**unction **trace**) 是旨在帮助开发者探究内核内部运行逻辑的一个追踪器。可用于调试或分析内核里面的高延迟性能问题； 虽然ftrac...
Linux 内核监控在 Android 攻防中的应用
有价值炮灰
01-05 1303
在日常分析外部软件时，遇到的反调试/反注入防护已经越来越多，之前使用的基于 frida 的轻量级沙盒已经无法满足这类攻防水位的需要，因此需要有一种更加深入且通用的方式来对 APP 进行全面的监测和绕过。本文即为对这类方案的一些探索和实践。 背景 为了实现对安卓 APP 的全面监控，需要知道目标应用访问/打开了哪些文件，执行了哪些操作，并且可以修改控制这些操作的返回结果。一个直观的想法是通过 libc 作为统一收口来对应用行为进行收集，比如接管 open/openat/faccess/fstatat 实现文件
内核追踪技术之 ftrace
10-17 3620
N 表示设置了TIF_NEED_RESCHED和PREEMPT_NEED_RESCHED标志位，需要被调度。首先需要在include/trace/events/sched.h 的头文件中添加一个名为sched_stat_minvruntime的跟踪点。set_ftrace_filter和set_ftrace_notrace选项配对使用。前者设置要跟踪的函数，后者设置不要跟踪的函数。trace_sched_stat_runtime 是使用了sched_stat_runtime跟踪点，在命令行下也可以查询到。
动态追踪技术底层分析（字节码插桩）
IT三明治的专栏
03-24 1606
动态追踪技术是可以不用重启线上java项目来进行问题排查的技术。比如Arthas就属于一种动态追踪工具，它提供的monitor, trace, watch命令就是用动态追踪技术实现的。 Arthas工具的基础，就是Java Agent技术，可以利用他来构建一个附加的代理程序，用来协助检测性能，还可以替换一些现有的功能，甚至jdk的类也能修改，就像JVM级别的AOP功能 当我们研究技术到一定深度的时候我们就不能满足于使用了，我会思考它是怎么实现的，我们在工作中能不能开发出类似的辅助工具来帮助自己和同事呢？
Linux黑科技：浅析动态追踪技术
极客重生
02-01 223
动态追踪技术原因当碰到内核线程的资源使用异常时，很多常用的进程级性能工具，并不能直接用到内核线程上。这时，我们就可以使用内核自带的 perf 来观察它们的行为，找出热点函数，进一步定位性能瓶颈。不过，perf 产生的汇总报告并不直观，所以我通常也推荐用火焰图来协助排查。其实，使用 perf 对系统内核线程进行分析时，内核线程依然还在正常运行中，所以这种方法也被称为动态追踪技术。动态追踪技术，通过探...
美团技术文章-Java动态追踪技术探究笔记
一个后端菜鸟的博客
05-23 513
Java动态追踪技术探究，redefineClasses重新定义字节码，retransformClasses修改字节码，BTrace架构，Arthas
*** error 129: Trace is disabled!
最新发布
02-29
*** error 129: Trace is disabled! 是一个错误消息，它在代码中禁用了跟踪功能。踪是一种用于记录程序执行程中的信息的技术，它可以帮助开发人员调试和定位问题。当出现这个错误消息时，意味着程序中跟踪功能被关闭或者未正确启。 解决这个问题，你可以尝试以下几个步骤： 1. 检代码中的跟踪设置：查看代码中是否有禁用跟踪的设置，例如在代码中搜索 "Trace is disabled" 或者类似的关键字，确认是否有相关的配置或者条件语句导致跟踪被禁用。 2. 检查编译选项：如果你是在编译代码时遇到这个错误，检查编译选项是否正确设置。有些编译器可能有特定的选项来启用或禁用跟踪功能，确保你使用了正确的选项。 3. 检查日志设置：如果你的程序有日志记录功能，确保日志记录功能已经正确启用，并且日志级别设置为允许跟踪信息的记录。 4. 检查相关文档或资源：如果以上步骤都没有解决问题，建议查阅相关文档或资源，例如程序框架或库的官方文档，以了解更多关于跟踪功能的配置和使用方法。 希望以上信息对你有帮助！如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值