Linux IO并发拥塞控制机制分析-3

最新推荐文章于 2023-07-16 00:10:49 发布
最新推荐文章于 2023-07-16 00:10:49 发布
阅读量403 收藏 1
点赞数
分类专栏： Storage
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yiyeguzhou100/article/details/99698983
版权
Storage 专栏收录该内容
70 篇文章 9 订阅 ¥9.90 ¥99.00
订阅专栏
这篇博客详细分析了Linux IO并发拥塞控制机制，主要聚焦于inode和bdi的拥塞判断。通过wb_congested函数，系统判断读写方向是否拥塞，如在预读操作和fadvise函数中，遇到拥塞会采取相应措施避免加重IO压力。同时，文章指出bdi可以自定义拥塞判断函数，如在raid的代码中，md驱动层会根据自身情况判断是否拥塞。
摘要由CSDN通过智能技术生成

如下面的代码，inode，bdi相关的读或写方向的拥塞判断都是通过wb_congested函数，而wb_congested函数判断是否拥塞就是根据“Linux IO并发拥塞控制机制分析-2”中提到的函数blk_set_congested是否设置了拥塞标志(读或写方向)。

  •  inode(文件)的拥塞判断

举例1如下，在进行预读操作时，如果判断当前读方向处于拥塞，则推迟(Defer)预读, 防止加重IO压力：

举例2如下，fadvise函数判断到写拥塞时，则不进行回写：

了解本专栏 订阅专栏 解锁全文
yiyeguzhou100
关注
专栏目录
订阅专栏
Linux IO并发拥塞控制机制分析-2
yiyeguzhou100的专栏
08-07 289
如"Linux IO并发拥塞控制机制分析-1"所述，在__get_request函数值中判断若符合拥塞条件则调用blk_set_congested 设置拥塞标志（同步与异步），这里所说的拥塞控制是指对单个磁盘的拥塞控制（单盘对应一个request_queue）： 除了在_get_request函数中会判断是否设置拥塞标志，当用户在调整单盘并发IO个数（/sys/block/sda/que...
Linux IO并发拥塞控制机制分析-1
yiyeguzhou100的专栏
07-14 796
块设备请求队列： struct request_queue { struct list_head queue_head; //待处理请求的链表，请求队列中的请求用链表组织在一起 struct request *last_merge; //指向队列中首先可能合并的请求描述符 struct elevator_queue *elevator;//指向elevator对象的指针（电梯算法） st...
Linux------常见的几种典型IO(实现服务器并发)
weixin_43512021的博客
11-25 257
典型IO 阻塞IO 非阻塞IO 信号驱动IO 定义IO信号回调, 当IO条件具备后, 操作系统发送信号通知进程, 直接进行IO 异步IO 为了IP发起调用, 但是IO由操作系统完成, 完成之后通过信号通知进程, 进程进行数据处理 阻塞:为了完成功能发起调用, 当前不具备完成条件 , 则调用一直等待 非阻塞: 为了完成功能发起调用, 若当前不具备完成条件, 则调用直接...
2011-8-1 21:13:48
08-01 656
2011-8-1 21:13:48 struct percpu_data {  void *ptrs[NR_CPUS]; }; #define __percpu_disguise(pdata) (struct percpu_data *)~(unsigned long
LWN：替换 congestion_wait()！
Linux News搬运工
11-05 347
关注了就能看到更多这么棒的文章哦～Replacing congestion_wait()By Jonathan CorbetOctober 25, 2021DeepL assisted t...
Linux基础之-高并发内核优化
穿过记忆的河流
01-22 1072
Linux基础之-高并发内核优化前言单进程最大打开文件数限制内核TCP参数方面内核其他TCP参数说明sysctl.conf 可优化参数如下： 前言 在默认参数情况下Linux对高并发支持并不好，主要受限于单进程最大打开文件数限制、内核TCP参数方面和IO事件分配机制等。下面就从几方面来调整使Linux系统能够支持高并发环境 单进程最大打开文件数限制 一般的发行版，限制单进程最大可以打开1024个文件，这是远远不能满足高并发需求的，调整过程如下： 在#号提示符下敲入： [root@localhost ~]$
linux网络编程—7层网络以及5种Linux IO模型以及相应IO基础
Linuxhus的博客
07-06 384
一、七层网络模型 　　OSI是Open System Interconnection的缩写，意为开放式系统互联。国际标准化组织（ISO）制定了OSI模型，该模型定义了不同计算机互联的标准，它是一个七层的、抽象的模型体。 文章相关视频讲解： 详解网络编程细节点击：90分钟详解网络编程相关的细节处理 详解底层网络IO模型点击： 底层网络IO模型，必须要懂得10种模型 腾讯认证T9后端开发岗位，linux服务器开发高级架构师系统学习视频点击：C/C++Linux服务器开发高级架构师/Linux后
writeback bdi脏页回写原理linux内核源码解析
dongzhiyan_hjp
03-30 3411
说起脏页回写，大部分文章介绍的是与脏页回写有关的参数，讲解内核源码的并不多，本文主要讲解脏页回写的内核源码，顺便会把这些脏页回写参数与内核源码结合起来。 文章正式开始前，先把这些与脏页回写有关的参数列一下： 1 dirty_writeback_centisecs：脏页回写周期，默认5s执行一次脏页回写。 2 dirty_expire_centisecs：控制脏页在内存中停留的时间，默认30s。就是说，当一个page被标记为脏页后，30s后就要被回写到磁盘。 3 dirty_background_byt.
linux性能优化-IO调度优化
sre救赎之路
01-30 3643
linux操作系统io优化详解
内存脏数据下刷(linux2.6.18/linux.2.6.32)剖析
TaLk工作室专栏 - Trace the linux kernel
06-17 4269
1   前言 BDI机制原本主要是用于检测磁盘的繁忙程度等作用，从2.6.19内核开始，将此部分功能整合到了mm/backing_dev.c中，一直到2.6.31内核为止，其功能也只是在不段的完善，但是脏数据的下刷依然是依靠pdflush。自2.6.32内核开始，彻底取消了pdflush，而是将此部分功能添加到BDI机制中，并且是为每个设备创建了一个名为“flush-设备主次设备号”的线程，用于
Linux缓存回写——基于linux-4.15
SweeNeil
03-26 3542
这也是刚看，仅供参考~ 1、Linux内核bdi系统 bdi是backing device info的缩写，它用于描述后端存储（如磁盘）设备相关的信息。相对于内存来说，后端存储的I/O比较慢，因此写盘操作需要通过page cache进行缓存延迟写入。 与bdi_writeback机制相关的主要数据结构有三个： 1）backing_dev_info：该数据结构描述了backing_dev的所...
块设备bdi回写实现
最新发布
hxm12043219的博客
07-16 556
wb_workfn是前面在初始化bdi的时候绑定到延时工作队列上的，其内部主要就是按照提交的work将dirty inode写入介质，在这里我们主要介绍到do_writepages，再往后就是具体的文件系统内建立bio，进而submit_bio到通用块层->io调度层->设备驱动层->介质.wb_writeback_work中涉及的需要回写的page及执行写入的工作队列都在bdi_writeback中定义：需要关注的是b_dirty、b_io、b_more_io、delayed_work。
Linux内核延迟写机制学习
qq_33339479的博客
12-31 2200
本文主要是通过资料跟着源码学习了一下数据回写的机制，主要是通过bdi机制，通过workqueue来进行数据的写入，并且在数据写入的时候其实就写到了page层就返回，然后再延迟写入机制将page中的数据落入到底层的存储介质中。触发的时机也引用到下文中的内容，即可以通过系统调用sync主动调用，也可以等待系统配置的定时来执行，在内存分配数据不足的时候也会触发数据回写的流程。由于本人才疏学浅，如有错误请批评指正。
Linux内核进程详解之二：bdi-default
sannik的专栏
12-20 2156
bdi，即是backing device info的缩写，根据英文单词全称可知其通指备用存储设备相关描述信息，这在内核代码里用一个结构体backing_dev_info来表示：http://lxr.linux.no/#linux+v2.6.38.8/include/linux/backing-dev.h#L62 bdi，备用存储设备，简单点说就是能够用来存储数据的设备，而这些设备存储的数据能
Linux so helper,Linux 通用块层之拥塞控制
weixin_35745604的博客
05-13 217
为什么需要拥塞控制前面已经介绍了 Linux 操作系统通用块层中作为数据流动的关键因素 BIO，从软件的角度来讲，只要代码执行得够快，理论上就可以不停的下发数据让后端去执行。当然，都知道这是不可能的，首先局限于底层的硬件限制，磁盘速率一般也不超过 300MB/s，换成 SSD 的话会更快一下但是也不可能无限，另外一方面，代码执行总是需要消耗 CPU 时间，假设底层硬件能力为无穷大，但是通用块层自身...
[转载] Linux 内核进程详解之二: bdi-default
Dream Seeker
03-29 679
原文链接: Linux 内核进程详解之二: bdi-default 转载说明: 博主转载本文的原意仅是为了了解 “bdi” 所代表的含义以及其背后涉及到的初步的工作原理或机制, 以防原文再也无法访问. 本文适用于 CentOS 6.x 版本. 但对于 CentOS 7.x, 从系统中已经看不到 bdi-default 与 flush-x:y 这两个内核线程, 猜测已经被进一步的优化和取代 (待...
writeback机制源码分析
weixin_33810006的博客
01-07 187
  writeback相关数据结构   与writeback相关的数据结构主要有： 1，backing_dev_info，该数据结构描述了backing_dev的所有信息，通常块设备的request queue中会包含backing_dev对象。 2，bdi_writeback，该数据结构封装了writeback的内核线程以及需要操作的inode队列。 3，wb_writeback_w...
linux操作系统：文件缓存，常用文档应该放在触手可得的地方
OceanStar的博客
11-28 1103
我们已经了解了文件系统的挂载和文件的打开，并通过打开文件的过程，构建了一个文件管理的整套数据结构体系。问题是文件是怎么进行读写的呢？ 系统调用层和虚拟文件系统层 文件系统的读写，其实就是调用系统函数read和write。由于读和写的很多逻辑是相似的，这里我们一起来看一下这个过程。 下面的代码就是 read 和 write 的系统调用，在内核里面的定义。 SYSCALL_DEFINE3(read, unsigned int, fd, char __user *, buf, size_t, count) {.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值