Kernel trace tools（二）：内核态执行时间跟踪

于 2024-03-24 10:53:30 发布
阅读量831 收藏 21
点赞数 21
分类专栏： 程序员 文章标签： java elasticsearch 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_83817916/article/details/136983837
版权

static enum hrtimer_restart trace_nosched_hrtimer_handler(struct hrtimer *hrtimer)

{

/*

  • Skip the idle task and make sure we are not only the

  • running task on the CPU. If we are interrupted from

  • user mode, it indicate that we are not executing in

  • the kernel space, so we should also skip it.

*/

if (!is_idle_task(current) && regs && !user_mode(regs) &&

!single_task_running()) {

/* The kernel mode */

/*

  • If the execution time exceeds the threshold, record

  • the call trace.

*/

} else {

/* The user mode */

stack_trace->last_timestamp = now;

}

}

我们看到不更新时间戳的条件比较苛刻。主要考虑以下几种情况：

  • 如果中断时从用户态发生，则更新 last_timestamp 时间戳。

  • 如果当前 CPU 运行队列只有一个 task，更新 last_timestamp 时间戳。因为这种情况下，占有 CPU 不放没有任何问题。

  • 如果当前进程是 idle 进程，同样更新 last_timestamp 时间戳。因为 idle 进程本身就可能在内核态长时间运行，没有任何问题。

我们再看下 tracepoint 的 hook 函数实现。

static void probe_sched_switch(void *priv, bool preempt,

struct task_struct *prev,

struct task_struct *next)

{

u64 now = local_clock();

u64 last = cpu_stack_trace->last_timestamp;

cpu_stack_trace->last_timestamp = now;

/*

  • Skip the idle task and make sure we are not only the

  • running task on the CPU.

*/

if (!is_idle_task(prev) && !single_task_running())

hist_update(cpu_stack_trace, now - last);

}

记录时间差值，差不多可以认为是内核态执行的时间。当操作设定阈值，我们更新柱状图统计计数。

4. 如何安装

========

安装 trace-noschedule 工具很简单，git clone 代码后执行如下命令即可安装。

make -j8

make install

5. 如何使用

========

安装 trace-noschedule 工具成功后。会创建如下 /proc/trace_noschedule 目录。

root@n18-061-206:/proc/trace_noschedule# ls

distribution enable stack_trace threshold

/proc/trace_noschedule 目录下存在 4 个文件，分别：distribution, enable, stack_trace 和 threshold。工具安装后，默认是关闭状态。

5.1 打开 tracer

执行以下命令打开 tracer。

echo 1 > /proc/trace_noschedule/enable

5.2 关闭 tracer

执行如下命令关闭 tracer。

echo 0 > /proc/trace_noschedule/enable

Note: debug 问题后请记得关闭 tracer。因为模块内部实现基于 sched tracepoint，overhead 不能忽略。

5.3 设置阈值

trace_noschedule 只会针对内核态执行时间超过阈值不调度的进程记录 stack trace。为了更高效的运作，我们有必要设定一个合理阈值。例如设置 60ms 的阈值(单位：ns)：

echo 60000000 > /proc/trace_noschedule/threshold

5.4 查看内核态长时间未调度进程执行的时间分布。

root@n18-061-206:/proc/trace_noschedule# cat distribution

Trace noschedule thread:

msecs : count distribution

20 -> 39 : 1 |********** |

40 -> 79 : 0 | |

80 -> 159 : 4 |****************************************|

160 -> 319 : 2 |******************** |

在内核态有 4 次执行时间在[80, 159]ms 范围内没有调度。

5.5 是谁占用 CPU 不调度

stack_trace 记录占用 CPU 时间超过阈值不调度进程的栈。

root@n18-061-206:/proc/trace_noschedule# cat stack_trace

cpu: 0

COMM: sh PID: 1270013 DURATION: 100ms

delay_tsc+0x21/0x50

nosched_test_write+0x53/0x90 [trace_noschedule]

proc_reg_write+0x36/0x60

__vfs_write+0x33/0x190

vfs_write+0xb0/0x190

ksys_write+0x52/0xc0

do_syscall_64+0x4f/0xe0

entry_SYSCALL_64_after_hwframe+0x44/0xa9

这是个内核态测试的 case，在内核态执行 mdelay(100)占用 CPU 100ms 不调度。此时记录的栈如上面所示。"DURATION"记录的就是执行持续时间。

5.6 清除 stack trace

如果我们需要清除 stack trace 记录的信息（stack trace buffer 是有大小限制的，必要的时候需要 clear）。

echo 0 > /proc/trace_noschedule/stack_trace

6. 案例展示

========

这里以一个实际问题带你了解工具的使用。问题是背景是，业务发现 docker 好像有问题，pull 不下来镜像。登录机器会卡顿，执行很多命令也会卡顿。

6.1 首先看下 CPU 使用情况。

有几个 CPU 100%，而且还是 sys 态使用。系统究竟在干吗？

6.2 使用 perf 工具

使用 perf top 看下 CPU 情况，发现 60%左右的时间在 spinlock 上。但是没看出内核哪个路径的 spinlock。使用 trace-noschedule 工具看看是否有发现。

6.3 trace-noschedule 跟踪

root@n131-103-013:/proc/trace_noschedule# cat distribution

Trace noschedule thread:

msecs : count distribution

20 -> 39 : 760 |****************************************|

40 -> 79 : 488 |************************* |

80 -> 159 : 73 |*** |

内核态长时间未调度，而且时间很长。看下工具记录的栈信息，截取如下：

COMM: runc PID: 499045 DURATION: 75ms

native_queued_spin_lock_slowpath+0x112/0x190

_raw_spin_lock+0x1d/0x20

prepend_path+0x266/0x2d0

__d_path+0x4b/0x80

seq_path_root+0x53/0xb0

show_mountinfo+0xb8/0x290

seq_read+0x321/0x3f0

__vfs_read+0x33/0x160

vfs_read+0x91/0x130

SyS_read+0x52/0xc0

do_syscall_64+0x68/0x100

entry_SYSCALL_64_after_hwframe+0x3d/0xa2

COMM: falcon-agent PID: 3002056 DURATION: 114ms

native_queued_spin_lock_slowpath+0x10f/0x190

_raw_spin_lock+0x1d/0x20

prepend_path+0x266/0x2d0

__d_path+0x4b/0x80

先自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《Android移动开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

img

img

img

img

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以扫码领取！！！！

学习分享

①「Android面试真题解析大全」PDF完整高清版+②「Android面试知识体系」学习思维导图压缩包


《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门，即可免费领取！

记、源码讲义、实战项目、讲解视频**

如果你觉得这些内容对你有帮助，可以扫码领取！！！！

学习分享

①「Android面试真题解析大全」PDF完整高清版+②「Android面试知识体系」学习思维导图压缩包

[外链图片转存中…(img-9Y1XbGeM-1711248799527)]

[外链图片转存中…(img-2IxiL4ek-1711248799527)]

[外链图片转存中…(img-bgZf1lZs-1711248799528)]
《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》，点击传送门，即可免费领取！

2401_83817916
关注
  • 21
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2021-11-01
东东和linux
11-01 465
MDC Kernel Debug总结 郝东东 文章目录MDC Kernel Debug总结1. kernel trace1.1 利用tracing 分析kernel trace1.2 一个分析trace的例子1.2.1 demo代码1.2.2 demo介绍1.2.3 分析trace2 利用kernelshark进行分析2.1 ubuntu下安装kernelshark2.2 使用trace-cmd 生成trace.dat2.3 使用kernelshark加载.dat文件并分析2.4. trace-cmd3.
Kernel源码笔记之Trace
苟浩的博客
03-01 931
Ftrace // kernel/trace/trace.c // 注册一个tracer int __init register_tracer(struct tracer *type) { struct tracer *t; int ret = 0; // tracer名不能为空 if (!type->name) { pr_info("Tracer must have a name\n"); return -1; } // 名字长度不能超过MAX_TRACER_S
内核追踪技术之 ftrace
10-17 3443
N 表示设置了TIF_NEED_RESCHED和PREEMPT_NEED_RESCHED标志位，需要被调度。首先需要在include/trace/events/sched.h 的头文件中添加一个名为sched_stat_minvruntime的跟踪点。set_ftrace_filter和set_ftrace_notrace选项配对使用。前者设置要跟踪的函数，后者设置不要跟踪的函数。trace_sched_stat_runtime 是使用了sched_stat_runtime跟踪点，在命令行下也可以查询到。
内核trace框架
qq_42584874的博客
03-14 3325
Linux内核trace ​ 从广义上讲，linux中的跟踪系统由三层组成：前端、跟踪框架和事件源 ​ 事件源是跟踪数据的来源，跟踪框架运行在负责数据收集、计数的内核中，如果它支持内核编程跟踪程序（例如：eBPF），它还以有效的方式执行聚合、汇总和统计。跟踪前端工具提供了与跟踪框架通信的用户界面，使用后处理跟踪器（如果有）进行统计、汇总和聚合采样，并向最终用户进行结果可视化。 术语 性能分析：性能分析的目的是为了获取跟踪事件的样本 跟踪：跟踪记录所有的trace事件 探针：动态或者静态代码中的一种插装
Kernel trace tools（三）：内核 runqueue 延迟跟踪
字节跳动技术团队官方博客
05-20 3128
本文是由字节跳动系统部 STE 团队出品的“kernel trace tools”系列文章之一，以介绍团队自研多类延迟问题追踪工具。在实际工作中，会遇到由于 runqueue 太长导致调...
kernel-bugs:上游内核错误跟踪项目
06-14
内核错误上游内核错误跟踪项目
linux_kernel_cves：跟踪linux内核的CVE
02-03
linux_kernel_cves 这是一个用于跟踪上游linux内核中CVE的简单项目。 单个发行版（RHEL，Debian，Ubuntu等）通常会很好地跟踪自己内核的CVE，但上游内核缺少此信息。 该项目旨在帮助解决这一空白。 输出是通过一组...
Kernel Regression Toolbox 1.0：内核回归的实现。-matlab开发
06-01
核回归工具箱版本 1.0 (R14) 2004 年 8 月 1 ... 包含执行内核回归的函数。 一般功能： ykr - 高阶多项式核回归ykr0 - 0 阶内核回归wfunc - 指数矩阵理论核函数gfunc - 向量化数据矩阵cmatrix - 矢量化非线性常数矩阵
kernel_gateway:Jupyter内核网关
05-14
Jupyter Kernel Gateway是一个Web服务器，可提供对Jupyter内核的无头访问。 您的应用程序通过REST调用和Websockets（而不是ZeroMQ消息）与内核进行远程通信。 没有通过内核网关编辑笔记本的规定。 开箱即用地支持...
Kernel_Inject：内核注入DLL
02-15
别问问就是F7修仙交流（限定筑基期至渡劫期）：546110133
Linux内核中断trace机制log解析工具
08-14
用于将通过cat /sys/kernel/debug/tracing/trace命令获取的log文件，进行解析，和统计，分类：哪一号中断，在哪一号CPU上运行，总共运行时间多久，最大单次处理时间，最小单次处理时间，平均处理时间，相同中断发生在同一个CPU上面的最小间隔等。
adding-kernel-tracepoints:我对Linux内核中当前跟踪点的分析的存储库
05-16
添加内核跟踪点 ##我对Linux内核中当前跟踪点的分析的存储库。 如何将静态跟踪点添加到Linux内核？ 我首先从查看内核开始，以了解如何添加跟踪点。 ###如何在内核中添加跟踪点要添加跟踪点，必须使用该宏 。 下一个代码段显示了此宏的用法。 在此示例中，我们可以看到声明的事件是sched_switch，这是一个非常常见的事件。 / * * Tracepoint for task switches, performed by the scheduler: * / TRACE_EVENT(sched_switch, # 1 TP_PROTO(struct task_struct * prev, struct task_struct * next), # 2 TP_ARGS(prev, next), # 3 TP_STRUCT__entry( __array(
KernelDensity.jl：Julia的内核密度估计量
02-03
KernelDensity.jl：Julia的内核密度估计量
kernel-schedule:内核模块做进程调度
06-07
内核调度第 1 部分：实施和设计决策下面给出了我们为实现速率单调调度的内核模块而遵循的步骤： Step1 ： 我们在Proc文件系统中创建了一个目录条目“/proc/mp2”，并在该目录中创建了一个文件条目“/proc/mp2/status...
android-kernel-exploitation:Android内核开发
03-19
Android内核开发 客观的 本次研讨会的目的是开始在Android平台上进行内核漏洞分析和利用。 用法 克隆存储库 git clone https://github.com/cloudfuzz/android-kernel-exploitation ~ /workshop Github页面URL 车间...
linux内核内置trace工具使用简介
热门推荐
专注于嵌入式开发
03-30 1万+
使用内核内置的trace工具，可以跟踪具体某个进程的内核函数调用过程，并且可以统计到每个函数的运行时间，对优化系统性能有一定的帮助 内核trace工具使用方法如下： 1.修改内核配置，支持trace Kernel hacking  --->  [*] Tracers  --->[*]   Kernel Function Tracer                              
对内核进行trace的方法
yuxinghai2008的专栏
10-23 1717
1.设定要trace的function [root@localhost ~]# echo scsi:* > /sys/kernel/debug/tracing/set_event  [root@localhost ~]# cat /sys/kernel/debug/tracing/set_event  scsi:scsi_eh_wakeup scsi:scsi_dispatch_cmd_t
kernel trace
最新发布
08-10
内核跟踪（kernel trace）是一种调试技术，用于跟踪和记录操作系统内核在运行过程中所执行的操作和事件。 内核跟踪可以帮助开发人员识别和解决操作系统的错误和性能问题。通过跟踪内核执行的系统调用、中断、异常和其他事件，开发人员可以获得操作系统内部的详细信息，并分析其中的问题。 内核跟踪通常通过在内核代码中添加跟踪点（tracepoint）来实现。跟踪点是在关键操作的代码中插入的特殊语句，用于记录相关事件的发生情况。当内核执行到跟踪点时，会将相关信息保存到跟踪缓冲区中。 跟踪缓冲区是用于存储内核跟踪信息的缓冲区，开发人员可以通过读取跟踪缓冲区中的数据来获取内核执行的详细记录。内核跟踪工具可以提供用户界面，使开发人员能够方便地查看和分析跟踪信息。 通过分析内核跟踪信息，开发人员可以确定内核中发生的错误、性能瓶颈和其他问题的根本原因。他们可以使用这些信息来改进操作系统的稳定性、性能和可靠性。 总之，内核跟踪是一种用于调试和性能分析的重要工具，它可以帮助开发人员理解和改进操作系统内核的运行情况。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值