Linux perf sched Summary

最新推荐文章于 2025-01-17 10:11:47 发布
原创 最新推荐文章于 2025-01-17 10:11:47 发布 · 1k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了如何使用Linux perf sched工具进行内核调度器分析，重点讨论了perf record和perf script在处理调度事件时的开销，并展示了如何通过perf sched latency和perf sched switch命令来观测和分析调度延迟、上下文切换事件。文章提供了丰富的示例，以帮助理解不同选项和输出的意义。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. Overview

perf sched 使用了转储后再分析 (dump-and-post-process) 的方式来分析内核调度器的各种事件。
而这往往带来一些问题，因为这些调度事件通常非常地频繁，可以达到每秒钟百万级， 进而导致 CPU，内存和磁盘的在调度器事件记录上的严重开销。
我最近一直在用 eBPF/bcc (包括 runqlat) 来写内核调度器分析工具，使用 eBPF 特性在内核里直接对调度事件的分析处理，可以极大的减少这种事件记录的开销。
但是有一些性能分析场景里，我们可能想用 perf shed 命令去记录每一个调度事件， 尽管比起 ebpf 的方式，这会带来更大的开销。
想象一下这个场景，你有只有五分钟时间去分析一个有问题的云的虚拟机实例，在这个实例自动销毁之前，你想要为日后的各种分析去记录每个调度事件。

我们以记录一秒钟内的所有调度事件作为开始：

# perf sched record -- sleep 1
[ perf record: Woken up 1 times to write data ]
[ perf record: Captured and wrote 1.886 MB perf.data (13502 samples) ]

这个命令的结果是一秒钟记录了 1.9 Mb 的数据，其中包含了 13,502 个调度事件样本。
数据的大小和速度和系统的工作负载以及 CPU 数目的多少直接相关 (本例中正在一个 8 CPU 的服务器上 build 一个软件)。
事件记录如何被写入文件系统的过程已经被优化过了：为减少记录开销，perf 命令仅仅被唤醒一次，去读事件缓冲区里的数据，然后写到磁盘上。
因此这种方式下，仍旧会有非常显著的开销， 包括调度器事件的产生和文件系统的数据写入。

这些调度器事件包括，

# perf script --header
# ========
# captured on: Sun Feb 26 19:40:00 2017
# hostname : bgregg-xenial
# os release : 4.10-virtual
# perf version : 4.10
# arch : x86_64
# nrcpus online : 8
# nrcpus avail : 8
# cpudesc : Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz
# cpuid : GenuineIntel,6,62,4
# total memory : 15401700 kB
# cmdline : /usr/bin/perf sched record -- sleep 1 
# event : name = sched:sched_switch, , id = { 2752, 2753, 2754, 2755, 2756, 2757, 2758, 2759...
# event : name = sched:sched_stat_wait, , id = { 2760, 2761, 2762, 2763, 2764, 2765, 2766, 2...
# event : name = sched:sched_stat_sleep, , id = { 2768, 2769, 2770, 2771, 2772, 2773, 2774, ...
# event : name = sched:sched_stat_iowait, , id = { 2776, 2777, 2778, 2779, 2780, 2781, 2782,...
# event : name = sched:sched_stat_runtime, , id = { 2784, 2785, 2786, 2787, 2788, 2789, 2790...
# event : name = sched:sched_process_fork, , id = { 2792, 2793, 2794, 2795, 2796, 2797, 2798...
# event : name = sched:sched_wakeup, , id = { 2800, 2801, 2802, 2803, 2804, 2805, 2806, 2807...
# event : name = sched:sched_wakeup_new, , id = { 2808, 2809, 2810, 2811, 2812, 2813, 2814, ...
# event : name = sched:sched_migrate_task, , id = { 2816, 2817, 2818, 2819, 2820, 2821, 2822...
# HEADER_CPU_TOPOLOGY info available, use -I to display
# HEADER_NUMA_TOPOLOGY info available, use -I to display
# pmu mappings: breakpoint = 5, power = 7, software = 1, tracepoint = 2, msr = 6
# HEADER_CACHE info available, use -I to display
# missing features: HEADER_BRANCH_STACK HEADER_GROUP_DESC HEADER_AUXTRACE HEADER_STAT 
# ========
#
    perf 16984 [005] 991962.879966:   sched:sched_wakeup: comm=perf pid=16999 prio=120 target_cpu=005
	[...]

perf sched 可以用几种不同的方式记录调度事件，其 help 子命令总结如下:

# perf sched -h

 Usage: perf sched [] {record|latency|map|replay|script|timehist}

    -D, --dump-raw-trace  dump raw trace in ASCII
    -f, --force           don't complain, do it
    -i, --input     input file name
    -v, --verbose         be more verbose (show symbol address, etc)

2. perf sched latency

其中，perf sched latency 可以给出每个任务 (task) 的调度延迟，包括平均和最大延迟:

# perf sched latency

 -----------------------------------------------------------------------------------------------------------------
  Task                  |   Runtime ms  | Switches | Average delay ms | Maximum delay ms | Maximum delay at       |
 ------------------------------------------------------------------------------
最低0.47元/天 解锁文章

200万优质内容无限畅学
【Linux 系统调试】性能分析工具perf使用与调试方法
电视里爬出的程序员 📺💻 领域王牌： ▶ 数字电视标准解码专家 ▶ 智能监控算法驯兽师 ▶ Linux嵌入式炼金术士 ▶ 人脸识别整活实践家
05-08 1166
perf是集成在Linux内核源码中的性能分析工具套件，通过硬件性能监控单元（PMU）、软件计数器和跟踪点三类事件进行数据采集。通过PMU单元实时采集CPU硬件事件，内核将数据存入环形缓冲区，用户态工具读取后生成分析报告。IPC < 1.0 → CPU 存在停滞（缓存失效、分支预测错误）硬件事件：CPU周期、缓存命中/未命中等PMU事件。‌采用环形缓冲区存储数据，支持动态调整采样频率（如。软件事件：进程切换、页面错误等内核事件。‌：通常无特定含义（可自定义区分模块）混合模式：同时采集硬件和软件事件。
【 C/C++ 性能分析工具 CPU 采样分析器 perf 】掀开Linux perf性能分析的神秘面纱
探索C++编程的奥秘，分享深入的技术见解和实践，旨在激发读者创造力与解决问题的思维。
04-07 2378
Linux perf（性能分析工具）是一个功能强大且灵活的性能剩余工具，它可以在Linux系统上检测和调试各种性能问题。Linux内核集成了perf工具，可用于探测内核性能事件、硬件性能计数器以及用户级应用程序性能事件。 perf工具可以用于剖析（profile）应用程序，从而找出瓶颈和优化点，以提高系统的性能和稳定性。它支持多种统计和视图模式，能够为开发人员和系统管理员提供深入的性能分析。
linux性能分析工具：perf入门一页纸
可乐松子的博客
07-13 1833
是linux（2.6+）官方的分析器（），是一个轻量化的采用和分析的内核级工具，位于下的linux内核源码中，并且是基于内核的；是一个具有分析（profiling）、跟踪（ tracing）和脚本（scripting）功能的多工具集合使用列举出版本信息，然后使用下面对应的命令进行安装 常见使用场景 特别适合CPU分析（perf可以被用来剖析CPU的调用路径）：分析/采样CPU的堆栈跟踪、跟踪CPU调度器的行为、磁盘I/O等；通过对程序进行几次采样，通常就可以找到影响性能的线索下面展示了最常用的子命令，包
系统级性能分析工具perf的介绍与使用
weixin_33797791的博客
01-04 2203
测试环境：Ubuntu16.04 + Kernel：4.4.0-31   系统级性能优化通常包括两个阶段：性能剖析（performance profiling）和代码优化。 性能剖析的目标是寻找性能瓶颈，查找引发性能问题的原因及热点代码。 代码优化的目标是针对具体性能问题而优化代码或编译选项，以改善软件性能。   在性能剖析阶段，需要借助于现有的profiling工具，如perf等。在代码优化阶段...
perf之sched
weixin_33898233的博客
07-26 639
     如果你对你的进程的响应时间极其苛刻，有一天你发现你的进程响应时间变慢了，而恰好这个机器上也有其他的进程在跟你的进程争用CPU，你想看看你的进程被内核调度的情况，那么你需要用perf-sched工具。      Perf sched Perf sched 有五个子命令： perf sched record # low-overhead recording...
perf sched查看调度延迟与唤醒延迟
yiyeguzhou100的专栏
10-29 9835
ftrace也可以通过内核中固定的调度相关的tracepoint来记录线程的调度信息，但ftrace只能抓到调度的原始数据（线程调度切换流程），不能提供统计分析功能，只提供类似于perf sched script的功能。perf也是利用内核中固定的调度trcepoint，但perf提供了统计分析功能，例如可以查看某段时间内的最大调度延迟等信息。 1，perf sched record 2，...
perf - linux系统级性能分析工具的介绍与使用
生活需要深度
03-08 1920
perf kmem用于跟踪测量内核slab分配器事件信息。比如内存分配/释放等。可以用来研究程序在哪里分配了大量内存，或者在什么地方产生碎片之类的和内存管理相关的问题。perf kmem和perf lock实际上都是perf tracepoint的子类，等同于perf record -e kmem:*和perf record -e lock:*。但是这些工具在内部队员是数据进行了慧聪和分析，因此统计报表更具可读性。perf kmem record：抓取命令的内核slab分配器事件。
perf安装使用
t99696600的博客
01-22 4663
Linux运维系列 perf的安装与使用，测试环境 CentOS-8.3 @[perf](安装学习) 前言 新手上路，记录操作心得。 提示：以下是本篇文章正文内容，下面案例可供参考 一、perf是什么？ perf是一款综合性分析工具，大到系统全局性性能，再小到进程线程级别，甚至到函数及汇编级别。 perf提供了十八般武器，可以拿大刀大卸八块，也可以拿起手术刀细致分析。 二、perf安装 1.perf安装 因我之前就已经配置好了阿里的yum源，所以在我输入perf --help时系统就提示我是否需要
Linux 性能诊断 perf使用指南
weixin_33854644的博客
12-03 4470
标签 Linux , perf , 性能诊断 , stap , systemtap , strace , dtrace , dwarf , profiler , perf_events 背景 Linux在服务端已占据非常大的比例，很多业务很多服务都跑在Linux上面。 软件运行在Linux下，软件本身、以及Linux系统的性能诊断也成为热门的话题。 ...
perf sched命令跟踪调度延迟
程序猿Ricky的日常干货
12-28 2025
使用perf sched命令抓取系统调度延迟: perf sched record -- sleep 15 抓取系统全局的sched信息 perf sched latency -s max 解析perf数据中的sched latency信息 perf sched script | grep 2862458.143656 -B 30 查看perf sched数据 假如细化要求，抓取特定CPU上的调度延迟，可以使用如下方法： perf record -e sched:sched_wakeup,sc
perf简明使用
weixin_56766616的博客
04-05 1646
注：perf的使用需要容器的特权，需要在容器启动时添加参数 --privileged。k8s中添加参数：给容器的spec指定securityContext.privileged=true但特权容器存在安全隐患，特权容器能访问宿主机上的所有设备（逃逸：容器挂载宿主机磁盘，然后切换根目录）。man文档查看： man perf-top。
通过perf sched record 生成系统的调度图
jason的笔记
08-15 920
[root@k8s-node2 ~]# perf sched record sysctl -a [root@k8s-node2 ~]# perf timechart Written 0.2 seconds of trace to output.svg.
perf使用教程
绯浅yousa的笔记
02-23 3万+
perf使用教程Perf简介Perf是Linux kernel中的系统性能优化工具，perf基本原理的话是在CPU的PMU register中Get/Set performance counters来获得诸如instructions executed，cache-missed suffered，branches mispredicted等信息。 perf本身的工具有很多，这里主要介绍个人在查询程
Linux内核性能分析 | perf 的使用
weixin_44458100的博客
01-17 1547
不过不能够详细分析 CPU 性能、内存使用，采样等，那有没有什么工具可以全面分析CPU性能，内存，答案是有的，Linux内核自带了一个性能分析工具。火焰图就是看顶层的哪个函数占据的宽度最大。，能够进行函数级与指令级的热点查找， 它不但可以分析指定应用程序的性能问题，也可以用来分析内核的性能问题，当然也可以同时分析应用代码和内核，从而全面理解应用程序中的性能瓶颈。[.]：代表该调用属于用户态，若自己监控的进程为用户态进程，那么这些即主要为用户态的cpu-clock占用的数值，[k]代表属于内核态的调用。
Linux 下 perf 的使用
热门推荐
Projectsauron 的博客
08-05 5万+
perf 是一个性能分析工具（基于 Linux 内核提供的性能事件perf_event口），用于对 Linux 系统进行性能调优和性能分析。它可以通过收集硬件性能计数器、跟踪系统事件和采样程序调用栈等方式来提供详细的性能统计信息。perf 依赖事件进行统计，这里的事件是通过采样机制，并不是 clock 级别的统计；根据使用 perf 工具的不同按测量事件的类型进行统计。
perf基本使用与简单介绍
李兆龙的博客
08-28 2867
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。 本作品 (李兆龙 博文, 由 李兆龙 创作)，由 李兆龙 确认，转载请注明版权。 引言
perf的基本使用方法
HZero
10-28 3万+
前言 Perf 是用来进行软件性能分析的工具,可以利用 PMU，tracepoint 和内核中的特殊计数器来进行性能统计,用来分析内核和应用程序的性能。 perf可以完成如下的性能分析 计算每个时钟周期内的指令数 进行函数级别的采样 了解性能瓶颈 替代strace 添加动态内核 probe 点 做 benchmark 衡量调度器的好坏 perf性能分析需要了解如下背景知识 cache 流水线 超标量体系结构 乱序执行 分支预测 PMU计数 tracepoint perf的基本使用方法 以下面的实
perf 常见使用方法
qq_42931917的博客
11-02 2950
perf
perf sched
最新发布
07-19
<think>我们正在讨论如何使用perf sched来分析调度性能。根据提供的引用材料，我们可以总结出以下关键点： 1. perf sched 是一个用于分析调度器行为的工具，可以记录调度事件并进行分析。 2. 它提供了多个子命令，如record, latency, map, replay, script, timehist等。 3. 通过perf sched，我们可以查看调度延迟、唤醒延迟等，并能够进行统计分析（而ftrace只能提供原始数据）。 具体步骤： 1. 记录调度事件：使用`sudo perf sched record`命令，它会记录一段时间内的调度事件。 2. 分析调度延迟：使用`sudo perf sched latency`，它会显示每个任务的调度延迟统计信息，包括最大延迟、平均延迟等。 3. 查看调度映射：使用`sudo perf sched map`，它会显示一个ASCII码的调度映射，展示各个CPU上的任务调度情况。 此外，引用中还提到了perf sched与ftrace的区别：perf sched能够提供统计分析功能，而ftrace只能提供原始数据。 因此，针对用户的问题“我想分析和优化调度性能 请问perf sched 分析调度性能”，我们可以给出以下步骤： ### 使用perf sched分析调度性能的步骤 1. **记录调度事件**： 运行以下命令开始记录调度事件（默认会持续记录直到按Ctrl+C停止）： ```bash sudo perf sched record -a ``` 选项`-a`表示记录所有CPU的事件。你也可以通过`-p <pid>`来指定只记录某个进程的事件。 2. **查看调度延迟**： 记录完成后，运行以下命令查看调度延迟统计： ```bash sudo perf sched latency ``` 输出会显示每个任务的调度延迟情况，包括： - 任务ID（PID） - 任务名称（Comm） - 最大延迟（Max delay） - 平均延迟（Avg delay） - 延迟分布（Histogram） 重点关注那些最大延迟或平均延迟较高的任务，它们可能是性能瓶颈。 3. **查看调度映射**： 运行以下命令查看调度映射： ```bash sudo perf sched map ``` 输出会以ASCII字符的形式展示各个CPU上的任务调度情况，每一列代表一个CPU，每一行代表一个时间点上的任务执行情况。通过这个映射，可以直观地看到任务在CPU间的迁移和调度情况。 4. **其他分析**： - 使用`perf sched script`可以输出详细的调度事件列表，类似于ftrace的输出，但格式更易读。 - 使用`perf sched timehist`可以按时间顺序显示调度事件，包括每个任务的唤醒、调度进入和退出的时间。 ### 优化建议 根据分析结果，可以采取以下优化措施： - **减少任务迁移**：如果发现任务在CPU间频繁迁移，可以考虑通过`taskset`或`cpuset`将任务绑定到特定CPU。 - **优化唤醒路径**：如果发现唤醒延迟较高，检查任务是否被频繁唤醒，或者是否有锁竞争导致唤醒延迟。 - **调整优先级**：对于实时性要求高的任务，可以适当提高其优先级（使用`chrt`命令）。 - **减少内核抢占**：如果发现内核态执行时间过长导致调度延迟，可以尝试优化内核代码路径或使用抢占式内核。 ### 注意事项 - 运行perf需要root权限（使用sudo）。 - 记录的时间越长，生成的数据量越大，分析所需时间也越长。 通过以上步骤，你可以使用perf sched工具来分析和优化系统的调度性能。 §§相关问题§§ 1. 如何解读perf sched latency的输出结果？ 2. perf sched map的输出如何帮助我们理解CPU调度？ 3. 除了perf sched，还有哪些工具可以用于分析调度性能？ 4. 如何针对特定的进程进行调度性能分析？</think>### 使用 perf sched 分析调度性能的完整指南 #### 一、核心功能说明 `perf sched` 是 Linux 性能分析工具集的核心组件，专门用于分析内核调度器行为。它通过内核的调度器 tracepoint 捕获原始调度事件，并提供**统计分析功能**（如延迟计算、时间线可视化），这是区别于 `ftrace` 等工具的关键优势[^2][^4]。 #### 二、操作流程详解 1. **记录调度事件** 捕获系统级调度行为（建议 root 权限）： ```bash sudo perf sched record -a sleep 10 # 监控所有CPU 10秒 ``` *注：添加 `-p <PID>` 可聚焦特定进程[^4]* 2. **分析调度延迟** 查看任务唤醒延迟和调度延迟分布： ```bash sudo perf sched latency ``` **输出关键指标**： ``` Task | Runtime ms | Switches | Avg delay ms | Max delay ms ---------------------------------------------------------------- chrome(1234) | 102.34 | 120 | 0.15 | 12.3 kworker/0:3(567) | 15.78 | 30 | 0.08 | 3.2 ``` *`Max delay` >5ms 可能预示调度问题[^1]* 3. **可视化 CPU 调度映射** 生成 ASCII 调度时序图： ```bash sudo perf sched map ``` **输出示例**： ``` *A0 1234.chrome . . . B0 567.kworker A0* . . . B0* . . ``` *每列代表一个 CPU 核心，符号位置表示任务执行时间段[^3]* 4. **原始事件分析** 查看详细调度事件序列： ```bash sudo perf sched script | less ``` #### 三、关键性能指标解读 1. **唤醒延迟 (Wakeup Latency)** 任务就绪到实际获得 CPU 的时间，理想值应 <1ms。 *公式：$$ \text{Wakeup Latency} = T_{\text{scheduled}} - T_{\text{wakeup}} $$* 2. **调度延迟 (Scheduler Latency)** 从调度决策到任务开始执行的时间，受中断和抢占影响[^1]。 3. **迁移成本 (Migration Cost)** 通过 `perf sched map` 观察任务在 CPU 间的迁移频率，频繁迁移会降低缓存命中率。 #### 四、优化场景与方案 | 问题现象 | 优化建议 | 验证命令 | |-------------------------|-----------------------------------|------------------------------| | 高唤醒延迟 (>5ms) | 调整任务优先级 (`chrt`)，减少竞争 | `perf sched latency` | | CPU 负载不均 | 优化 CPU 亲和性 (`taskset`) | `perf sched map` | | 频繁上下文切换 | 合并小任务或增大时间片 | `perf sched script | grep switch` | | 实时任务延迟 | 启用 `SCHED_DEADLINE` 策略 | `perf sched timehist -MV` | #### 五、进阶技巧 - **时间直方图分析**： `perf sched timehist -MV` 生成带时间戳的调度直方图 - **热点函数定位**： 结合 `perf record -e sched:sched_switch` 捕获调用栈 - **容器环境分析**： `perf sched record -e context-switches -c 1000000` 高精度采样 > **注意**：生产环境建议配合 `--call-graph dwarf` 捕获完整调用栈[^3]，分析延迟根源时需排除硬件中断影响（检查 `/proc/interrupts`）。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值