linux i/o基本原理

Linux I/O 深入理解：从请求队列到设备处理
最新推荐文章于 2024-10-26 23:29:15 发布
最新推荐文章于 2024-10-26 23:29:15 发布
阅读量221 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 性能分析优化 文章标签： linux 运维 服务器 io
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/happyAnger6/article/details/139140534
本文探讨了Linux I/O的基本原理，包括内核如何通过request_queue管理I/O请求，以及从队列中取出并提交给块设备处理的过程。重点介绍了blk_account_io_start和blk_start_request等关键函数的作用，并阐述了块设备完成I/O请求后的通知机制。

1. linux i/o基本原理

在这里插入图片描述
linux对每个磁盘或分区都维护有一个请求队列,i/o算法会进行操作的合并重排等操作以优化性能。

1.1 内核中几个重要的函数:

  1. blk_account_io_start/__blk_account_io_start: i/o请求放入request_queue
  2. blk_start_request/blk_mq_start_request: 内核将i/o请求从队列中取出并实际发送给具体的块设备处理
  3. blk_account_io_done/__blk_account_io_done: 块设备处理完i/o请求

2.常见路径:

2.1 i/o请求放入request_queue

  1. 通常我们写文件操作是异步的,写入操作只是写的文件关联的page_cache,有内核线程异步将page_cache写回块设备(生成bio请求并放入request_queue)
  2. direct_io或者sync操作会直接生成bio请求并放入request_queue.
了解本专栏 订阅专栏 解锁全文 超级会员免费看
每天一个ebpf工具 io篇(一) ----------- biosnoop
happyAnger6的专栏
05-22 422
这里的延迟是１.1中, 2和3操作之间的延迟。即从内核将i/o操作提交给块设备到块设备完成操作通知内核软中断处理的耗时.linux对每个磁盘或分区都维护有一个请求队列,i/o算法会进行操作的合并重排等操作以优化性能。i/o结束时,分别统计i/o请求在队列中的等待时间和i/o操作块设备的延迟时间.显示进行i/o操作的程序，操作的磁盘扇区，读/写操作, 字节数，以及延迟。获取当前放入i/o request_queue的时间，并放入map中。获取当前提交块设备i/o请求的时间，并放入map中。
5.100 BCC工具之biosnoop.py解读
从0到1，突破自己
03-31 936
biosnoop用于追踪块设备 I/O（磁盘 I/O），并为每个 I/O 打印一行输出。
《BPF( 伯克利数据包过滤器 ) Performance Tools》 第三章 性能分析
weixin_55255438的博客
10-06 1456
本书介绍的各种工具可用于性能分析、故障排查、安全分析以及其他很多方面。为了帮助你理解如何运用这些工具，本章提供了一份针对性能分析的快速入门指南。学习目标:■理解性能分析的工作目标和工作内容。■对业务负载进行定性分析。■实施USE方法论。■实践下钻分析方法论。■理解清单分析方法论。■使用传统工具和60秒Linux清单快速初步定位性能问题。■使用BCC/BPF工具清单快速定位性能问题。
eBPF.io eBPF文档：扩展的数据包过滤器（BPF）
RToax
10-10 2343
eBPF导致在网络，安全性，应用程序性能分析/性能跟踪和性能故障排除等领域开发了新一代的工具，这些工具不再依赖现有的内核功能，而是在不影响执行效率或安全性的情况下主动重新编程运行时行为。可以创建内核探针（kprobe）或用户探针（uprobe），以将eBPF程序附加到内核或用户应用程序中的几乎任何位置。eBPF程序无法调用任意内核功能。
eBPF 介绍
Imagine Miracle的博客
12-26 1418
eBPF.io 是学习和协作 eBPF 的地方。eBPF 是一个开放的社区，每个人都可以参与和分享。无论您是想阅读第一个介绍 eBPF 文档，或是寻找进一步的阅读材料，还是迈出成为大型 eBPF 项目贡献者的第一步，eBPF.io 将一路帮助你。下面的章节是对 eBPF 的快速介绍。如果您想了解更多关于 eBPF 的信息，请参阅 eBPF & XDP 参考指南。无论您是希望构建 eBPF 程序的开发人员，还是对 eBPF 的解决方案感兴趣，了解这些基本概念和体系结构都是有帮助的。
Linux I/O 原理和 Zero-copy 技术全面揭秘
11-18
通过理解Linux I/O原理和零拷贝技术，开发者可以优化系统性能，特别是在高负载的网络服务中。Zero-copy技术的引入，不仅减少了CPU的使用，还提升了系统整体吞吐量，成为了现代高性能服务器设计的重要组成部分。
万字深剖 Linux I/O 原理
热门推荐
qq_61500888的博客
11-03 1万+
带你一命通关 Linux IO 原理 十分钟手撕底层内涵
【Linux | 网络I/O模型】五种网络I/O模型详解
最新发布
qq_42037383的博客
10-26 1497
模型发起 I/O 请求等待 I/O 操作处理结果特点阻塞 I/O发起请求阻塞等待完成处理结果简单易懂，但效率低非阻塞 I/O发起请求立即返回（检查状态）处理结果轮询方式，效率较高I/O 多路复用发起请求等待事件发生处理已就绪事件高效处理多个 I/O 操作信号驱动式 I/O发起请求等待信号处理信号避免轮询，编程复杂异步 I/O发起请求继续执行其他任务处理结果（回调或通知）高效处理大量并发操作。
了解 Linux I/O 调度（Linux I/O Scheduler）算法
LU_ZHAO的博客
03-22 1248
查看io调度算法： :dmesg | grep -i scheduler [ 0.571636] io scheduler noop registered [ 0.571637] io scheduler deadline registered [ 0.571654] io scheduler cfq registered (default) 查看使用的io调度算法： :ll ...
eBPF实战教程三｜数据库磁盘IO最精准的量化方法(含源码)
DBdoctor_off的博客
06-18 1220
内核级数据库性能诊断工具DBdoctor2️⃣。
eBPF学习笔记（二）—— eBPF开发工具
lzyddf的博客
11-14 3524
本篇记录对bpftrace、BCC、libbpf等eBPF常用开发工具的基本使用。
linux跟踪技术之ebpf
Innocence_0的博客
08-12 804
eBPF是一项革命性的技术，起源于 Linux内核，可以在操作系统内核等特权上下文中运行沙盒程序。它可以安全有效地扩展内核的功能，而无需更改内核源代码或加载内核模块。比如，使用ebpf可以追踪任何内核导出函数的参数，返回值，以实现kernel hook的效果；通过ebpf还可以在网络封包到达内核协议栈之前就进行处理，这可以实现流量控制，甚至隐蔽通信。
安装bcc-tools并简单运用biosnoop
L_jessica7227的博客
10-20 2153
安装bcc-tools 1. g++、git和cmake等基础工具包 2. 安装llvm和clang 两种方式： 第一种方式，直接apt安装 sudo apt-get install llvm sudo apt-get install clang 第二种方式，源码编译（本人编译到一半由于报错等问题放弃了这种方法） wget http://releases.llvm.org/4.0.0/llvm-4.0.0.src.tar.xz tar -xf llvm-4.0.0.src.tar.xz wget ht
五种IO模型透彻分析
sanmi8276的博客
02-01 440
原文作者：骏马金龙(博客已搬家：www.junmajinlong.com) 原文地址：五种IO模型透彻分析 目录 1.基础 2. I/O模型 2.1 Blocking I/O模型 2.2 Non-Blocking I/O模型 2.3 I/O Multiplexing模型 2.4 Signal-driven I/O模型 2.5 Asynchronous I/O模型 2.6 同步IO和异步IO、阻塞和非阻塞的区分 2.7 信号驱动IO和异步IO的区别 3.select()、poll..
性能分析与调优: Linux 磁盘I/O 观测工具
cronaldo91的博客
01-10 2357
(3) -d 只关注磁盘统计信息（没有CPU）、-m 代表MB、-t代表时间戳、-p ALL 表示包括每个分区统计。some开头的一行显示了一些任务（线程）受到影响的时间，full开头的一行显示了所有可运行任务受到影响的时间。① -b 批量模式来提供滚动输出（不清楚屏幕）、-d5 间隔时间为5秒、-o 显示I/O 进程。①跟踪所有大小不小于100KB的块I/O 完成事件，CTRL+C结束。（2）-F 显示每个I/O标志位组的直方图，-m以毫秒为单位输出。（5）跟踪块I/O 错误，包括设备和I/O类型。
python 性能优化监控工具_Linux性能优化（四）——BCC性能监控工具
weixin_35327824的博客
01-28 1927
一、BCC简介1、BCC简介BCC是一个Python库，简化了eBPF应用的开发过程，并收集了大量性能分析相关的eBPF应用。BCC为BPF开发提供了不同的前端支持，包括Python和Lua，实现了map创建、代码编译、解析、注入等操作，使开发人员只需聚焦于用C语言开发要注入的内核代码。BCC工具集大部分工具需要Linux Kernel 4.1以上版本支持，完整工具支持需要Linux Kernel...
Linux BPF性能分析之基于BCC工具清单检查
山河已无恙
04-01 889
博文内容为读书笔记整理内容涉及 11 种 BCC 单一功能工具使用理解不足小伙伴帮忙指正不必太纠结于当下，也不必太忧虑未来，当你经历过一些事情的时候，眼前的风景已经和从前不一样了。——村上春树关于BCC是什么这里不多介绍，小伙伴可以看我之前的文章。
Linux块层技术全面剖析-v0.1
badman250的专栏
07-21 7327
                        Linux块层技术全面剖析-v0.1 perftrace@gmail.com   前言 网络上很多文章对块层的描述散乱在各个站点，而一些经典书籍由于更新不及时难免更不上最新的代码，例如关于块层的多队列。那么，是时候写一个关于linux块层的中文专题片章了，本文基于内核4.17.2。 因为文章中很多内容都可以单独领出来做...
深入解析Linux异步I/O库libaio核心原理与实现
本文以“Linux异步I/O - libaio[源码]”为核心主题，深入探讨了基于内核支持的libaio库的工作原理、核心API使用方式、关键实现技术以及实际编程中的注意事项和优化策略。 首先，libaio是Linux平台上原生支持的异步I...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

self-motivation

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值