linux文件系统dentry_Linux性能 - IO初篇

最新推荐文章于 2023-10-24 17:20:25 发布
最新推荐文章于 2023-10-24 17:20:25 发布
阅读量356 收藏
点赞数
文章标签： linux文件系统dentry
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39608300/article/details/111686968
版权

文件系统

文件系统是对存储设备上的文件，进行组织管理的机制。组织方式不同，就会形成不同的文件系统。

为了方便管理，Linux 文件系统为每个文件都分配两个数据结构，索引节点(index node)和目录项(directory entry)。它们主要用来记录文件的元信息和目录结构。索引节点是每个文件的唯一标志，而目录项维护的正是文件系统的树状结构。

  • 索引节点，简称为 inode，用来记录文件的元数据，比如 inode 编号、文件大小、访问权限、修改日期、数据的位置等。索引节点和文件一一对应，它跟文件内容一样，都会被持久化存储到磁盘中。所以记住，索引节点同样占用磁盘空间。
  • 目录项，简称为 dentry，用来记录文件的名字、索引节点指针以及与其他目录项的关联关系。多个关联的目录项，就构成了文件系统的目录结构。不过，不同于索引节点，目录项是由内核维护的一个内存数据结构，所以通常也被叫做目录项缓存。
6f31734b5733d278f705eefffa94eaa2.png

虚拟文件系统

磁盘内的分类

  • 超级块，存储整个文件系统的状态。
  • 索引节点区，用来存储索引节点。
  • 数据块区，则用来存储文件数据。

目录项、索引节点、逻辑块以及超级块，构成了 Linux 文件系统的四大基本要素。为了支持各种不同的文件系统，Linux 内核在用户进程和文件系统的中间，又引入了一个抽象层，也就是虚拟文件系统 VFS(Virtual File System)。VFS 定义了一组所有文件系统都支持的数据结构和标准接口。这样，用户进程和内核中的其他子系统，就只需要跟 VFS 提供的统一接口进行交互。

Linux 文件系统的架构图

d446d608e5e6b9f6a0b24ff10c71c148.png

命令

查询磁盘容量

#常见的查询方式df -h # -i 参数，查看索引节点的使用情况df -hi

IO栈

Linux 存储系统的 I/O 栈，由上到下分为三个层次，分别是文件系统层、通用块层和设备层。

  • 文件系统层，包括虚拟文件系统和其他各种文件系统的具体实现。它为上层的应用程序，提供标准的文件访问接口；对下会通过通用块层，来存储和管理磁盘数据。
  • 通用块层，包括块设备 I/O 队列和 I/O 调度器。它会对文件系统的 I/O 请求进行排队，再通过重新排序和请求合并，然后才要发送给下一级的设备层。
  • 设备层，包括存储设备和相应的驱动程序，负责最终物理设备的 I/O 操作。

通用块层是 Linux 磁盘 I/O 的核心。向上，它为文件系统和应用程序，提供访问了块设备的标准接口；向下，把各种异构的磁盘设备，抽象为统一的块设备，并会对文件系统和应用程序发来的 I/O 请求进行重新排序、请求合并等，提高了磁盘访问的效率。

IO分类

阻塞 / 非阻塞针对的是 I/O 调用者(即应用程序)，而同步 / 异步针对的是 I/O 执行者(即系统)。

  • 所谓阻塞 I/O，是指应用程序在执行 I/O 操作后，如果没有获得响应，就会阻塞当前线程，不能执行其他任务。
  • 所谓非阻塞 I/O，是指应用程序在执行 I/O 操作后，不会阻塞当前的线程，可以继续执行其他的任务。
  • 所谓同步 I/O，是指收到 I/O 请求后，系统不会立刻响应应用程序；等到处理完成，系统才会通过系统调用的方式，告诉应用程序 I/O 结果。
  • 所谓异步 I/O，是指收到 I/O 请求后，系统会先告诉应用程序 I/O 请求已经收到，随后再去异步处理；等处理完成后，系统再通过事件通知的方式，告诉应用程序结果。

Linux对IO的优化

  • 优化文件访问的性能，会使用页缓存、索引节点缓存、目录项缓存等多种缓存机制，以减少对下层块设备的直接调用。
  • 优化块设备的访问效率，会使用缓冲区，来缓存块设备的数据。

磁盘性能指标

  • 使用率，是指磁盘处理 I/O 的时间百分比。过高的使用率(比如超过 80%)，通常意味着磁盘 I/O 存在性能瓶颈。
  • 饱和度，是指磁盘处理 I/O 的繁忙程度。过高的饱和度，意味着磁盘存在严重的性能瓶颈。当饱和度为 100% 时，磁盘无法接受新的 I/O 请求。
  • IOPS(Input/Output Per Second)，是指每秒的 I/O 请求数。
  • 吞吐量，是指每秒的 I/O 请求大小。
  • 响应时间，是指 I/O 请求从发出到收到响应的间隔时间。

在数据库、大量小文件等这类随机读写比较多的场景中，IOPS 更能反映系统的整体性能；而在多媒体等顺序读写较多的场景中，吞吐量才更能反映系统的整体性能。

磁盘性能检测

# c选项输出CPU相关数据[tinys@localhost ~]$ iostat -c Linux 2.6.32-431.el6.x86_64 (localhost.localdomain) 07/06/19 _x86_64_ (1 CPU)avg-cpu: %user %nice %system %iowait %steal %idle 0.43 0.00 1.41 3.06 0.00 95.10# d选项表示输出磁盘相关数据[tinys@localhost ~]$ iostat -d Linux 2.6.32-431.el6.x86_64 (localhost.localdomain) 07/06/19 _x86_64_ (1 CPU)Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtnsda 8.28 242.74 23.06 303301 28814# 使用x选项输出统计信息[tinys@localhost ~]$ iostat -d -x 1Linux 2.6.32-431.el6.x86_64 (localhost.localdomain) 07/06/19 _x86_64_ (1 CPU)Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %utilsda 14.77 5.59 9.58 2.24 355.88 31.27 65.54 0.13 10.87 8.07 22.86 4.11 4.85[tinys@localhost ~]$ iostat -c -xLinux 2.6.32-431.el6.x86_64 (localhost.localdomain) 07/06/19 _x86_64_ (1 CPU)avg-cpu: %user %nice %system %iowait %steal %idle 0.39 0.00 1.28 2.74 0.00 95.59Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %utilsda 10.45 4.16 6.78 1.80 251.83 23.81 64.28 0.09 10.83 8.07 21.21 4.04 3.47

指标解释

  • %util ，就是我们前面提到的磁盘 I/O 使用率；
  • r/s+ w/s ，就是 IOPS；
  • rkB/s+wkB/s ，就是吞吐量；
  • r_await+w_await ，就是响应时间。
1c6ab640f46349396f1d21a8c1d922dd.png

进程IO观测

实时观测的pidstat

# kB_rd/s每秒读取的数据大小,单位是KB# kB_wr/s每秒发出的写请求数据大小,单位是KB# 每秒取消的写请求数据大小(kB_ccwr/s) ，单位是 KB。# 块 I/O 延迟(iodelay)，包括等待同步块 I/O 和换入块 I/O 结束的时间，单位是时钟周期。pidstat -d 1 13:39:51 UID PID kB_rd/s kB_wr/s kB_ccwr/s iodelay Command 13:39:52 102 916 0.00 4.00 0.00 0 rsyslogd

进程排序的iotop

# 前两行分别表示，进程的磁盘读写大小总数和磁盘真实的读写大小总数。# 因为缓存、缓冲区、I/O 合并等因素的影响，它们可能并不相等。# 剩下的部分，则是从各个角度来分别表示进程的 I/O 情况，# 包括线程 ID、I/O 优先级、每秒读磁盘的大小、每秒写磁盘的大小、换入和等待 I/O 的时钟百分比等。iotopTotal DISK READ : 0.00 B/s | Total DISK WRITE : 7.85 K/s Actual DISK READ: 0.00 B/s | Actual DISK WRITE: 0.00 B/s  TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND 15055 be/3 root 0.00 B/s 7.85 K/s 0.00 % 0.00 % systemd-journald

lsof观察具体进程打开了哪些文件

# -p 指定进程id#输出参数解释# FD 文件描述符# TYPE 文件类型# NAME 文件路径## 注意 FD中最后一个`3w`表示它的文件描述符是 3 号，而 3 后面的 w ，表示以写的方式打开lsof -p 18940 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME python 18940 root cwd DIR 0,50 4096 1549389 / python 18940 root rtd DIR 0,50 4096 1549389 / … python 18940 root 2u CHR 136,0 0t0 3 /dev/pts/0 python 18940 root 3w REG 8,1 117944320 303 /tmp/logtest.txt

具体查询buffer与cache具体各占用了多少的命令

[root@localhost ~]# cat /proc/meminfo | head -5MemTotal: 1012352 kBMemFree: 507836 kBBuffers: 61392 kBCached: 252092 kBSwapCached: 0 kB

线程找进程

# 根据线程找进程# -T 参数表示线程ps -efT | grep 514root 12280 514 14626 33 14:47 pts/0 00:00:05 /usr/local/bin/python
weixin_39608300
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
linux操作系统内核技术-uestc课件
09-13
教学内容与要求 　　1掌握处理器在进程地址空间上的三种运行位置，了解内核编程不能使用C库函数和FPU，以及可能产生内存故障、核心栈溢出和四种内核竞争情形的原因。（2学时） 　　2熟悉进程描述符的组织，进程上下文和进程状态转换，和fork，exec，wait，exit，clone，linux线程和内核线程的实现原理和应用。了解COW和避免出现孤儿进程技术。（4小时） 　　3介绍支持SMP的O(1)调度，用户和内核抢占和进程上下文切换，了解优先级复算，睡眠和唤醒机制，SMP的负载均衡。（4小时） 　　4掌握在x86体系结构上系统调用的具体实现原理，接口参数传递，用户地址空间和核心地址空间之间的数据传输，和增加新的系统功能的方法。（2小时） 　　5熟悉在x86体系结构上Linux中断和异常的处理原理，中断注册、共享、控制，和中断上下文的意义，中断和设备驱动程序的关系，以及设备驱动程序结构和用户接口。（4小时） 　　6中断处理程序被分解为top half和bottom half的原因，介绍linux的softirq，tasklet，ksoftirqd和work queue，分析进程与top half，bottom half的竞争情形和同步。（4小时） 　　7掌握内核同步原理和方法：原子操作，自旋锁，（读—写）信号量，完成变量，bkl，seqlock和延迟内核抢占。了解指令“路障”。（4小时） 　　8介绍系统时钟和硬件定时器，单处理器和多处理器上的linux计时体系结构，定时的时间插补原理，单处理器和多处理器上的时钟中断处理，动态定时器的数据结构和算法原理，定时器竞争情形，延迟函数。Time，gettimeofday，adjtimex，setitimer，alarm的实现原理和应用。（4小时） 　　9熟悉进程地址空间的区和页，分配和释放物理页，物理地址与逻辑地址、虚地址之间的映射，slub分配原理和方法，高端物理内存的映射。（4小时） 　　10介绍VFS原理，超级块，inode结构和方法，dentry结构和方法，file结构和方法，以及进程打开文件表，linux中的文件系统。（2小时） 　　11讲解块设备缓冲，bio结构，I/O请求队列，和有最终期限的块I/O调度算法。（２小时） 　　12熟悉进程地址空间的分区，mm_struct结构，vm_area_struct结构和操作，，进程的页表文件映射接口mmap原理和方法。（2小时） 　　13熟悉页cache和radix_tree，缓冲区cache，和pdflush内核线程原理。（2小时）
linux 根文件系统，根设备，sys_open, sys_read, sys_write, sys_mount, sys_mknod
01-09
笔者语： 1. 内容涉及比较多，自己也没有分章节，因为觉得这些内容关联性很强，自己也懒的去弄了。 2. 本文涉及以下内容：     2.1 内核启动过程中，第一个文件系统为rootfs, 描述内核如何从rootfs切换到真正的根文件系统，           这其中包括了根设备的查找，还包括ramdisk, cpiok-initrd, image-initrd的描述。     2.2 内核如何关联文件dentry&inode。     2.3 内核与文件系统操作的几个相关的系统调用sys_open, sys_read, sys_write, sys_mount, sys_mknod。    
Python 判断文件是否存在，存在则删除
桃子小迷妹
09-22 7714
# filepath为文件路径 import os # 判断文件是否存在 if (os.path.exists(filepath)) : #存在，则删除文件 os.remove(filepath)
linux dentry结构,linux内核dentry结构分析
weixin_42339061的博客
05-14 470
dentry，即directory entry，目录项，就是多个文件或者目录的链接，通过这个链接可以找寻到目录之下的文件或者是目录项。dentry在文件系统里是极其重要的一个概念，dentry结构体在linux内核里也是用处广泛，这个结构体定义在include/linux/dcache.h里，我们来看一下结构体的定义。struct dentry {atomic_t d_count;unsigned...
Linux 文件系统(一)---虚拟文件系统VFS----超级块、inode、dentry、file
热门推荐
shanshanpt的专栏
08-31 4万+
Linux文件系统，VFS，super_block，超级块，inode... 一： 什么是文件系统，详见：http://zh.wikipedia.org/zh/%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9F 其实一句话就是管理这块文件的机制(组织方式，数据结构之类...) Linux系统中存在很多的文件系统，例如常见的ext2,ext3,ext4,sysfs,rootfs,proc...很多很多。。。我们知道每个文件系统是独立的，有自己的组织
文件系统之dentry
Blue summer的博客
04-03 2845
注：本文分析基于linux-4.18.0-193.14.2.el8_2内核版本，即CentOS 8.2 3 dentry 3.1 dentry主要成员变量 3.2 添加dentry到cache 3.3 从cache中删除dentry(回收dentrycache) 4 file 4.1 file主要成员变量 4.2 创建file 4.3 删除file
dentry是一个目录项（Directory entry），相当于一个文件目录，该文件目录里面有很多文件.//vfs dentry cache 模块实现分析/
uunubt的专栏
10-12 1692
1. dentry结构体dentry是一个目录项（Directory entry），相当于一个文件目录，该文件目录里面有很多文件。其实本质就是一个dir_entry结构体，重要成员有文件的inode索引号，文件名等，存储着文件的信息。dentry结构体相关信息： struct ext2_dir_entry_2 { __u32 inode; /* 文件的inode号 */ __u16 rec_len; /* 目录项长度 */ __u8 na
2020-08-25 linux中dentry的理解
昨天今天下雨天的博客
08-25 1798
inode仅仅只是保存了文件对象的属性信息，包括：权限、属组、数据块的位置、时间戳等信息。但是并没有包含文件名，文件在文件系统的目录树中所处的位置信息。那么内核又是怎么管理文件系统的目录树呢？答案是目录项。 目录项在内核中起到了连接不同的文件对象inode的作用，进而起到了维护文件系统目录树的作用。dentry是一个纯粹的内存结构，由文件系统在提供文件访问的过程中在内存中直接建立（并没有实际对应的...
Linux文件系统 struct dentry 结构体解析
最新发布
小立仔
10-24 712
Linux文件系统 struct dentry 结构体解析，以及一个内核demo：根据inode获取其所有硬链接的文件路径。
【Linux操作系统】 虚拟文件系统 | 文件缓存
CPT1024
07-30 685
Linux通过目录项高速缓存dentrycache(dentry)提高效率.由两个数据结构组成-哈希表引用变为0后加入lru链表;dentry没找到则从slub分配;无法分配则从lru中获取;文件删除释放dentry;-未使用的dentrylru链表;再次被引用返回哈希表;dentry过期返回给slub分配器很重要的一张图在系统调用层我们需要仔细学习read和write。httpshttpshttpshttpshttps。...
linux kernel 的文件系统操作以及设备操作分析
04-25
1、一个文件的操作流程，系统是如何把 struct file 与 struct dentry 以及 struct inode 结合起来的？2、文件与设备驱动都是对 VFS(Virtual File System) 抽象出来的 struct file 进行操作的，那么系统是如何区分的...
Linux 虚拟文件系统四大对象：超级块、inode、dentry、file之间关系
uunubt的专栏
10-12 2388
一：文件系统1． 什么是文件系统？操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。通常文件系统是用于存储和组织文件的一种机制，便于对文件进行方便的查找与访问。文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时撤销文件等。随着文件种类的增多，扩增了更多的文件系统，为了对各种文件系统进行统一的管理与组织。2． Linux文件系统Linux将文件系统分为了两层：V
vfs四大对象之inode、dentry、super_block——基于linux4.18
m0_47524163的博客
08-04 780
系统调用open和creat调用create方法来创建普通文件，系统调用link调用link方法来创建硬链接，系统调用symlink调用symlink方法来创建符号链接，系统调用mkdir调用mkdir方法来创建目录，系统调用mknod调用mknod方法来创建字符设备文件、块设备文件、命名管道和套接字。（1）软链接，也称为符号链接，这种文件的数据是另一个文件的路径。（2）目录：目录是一种特殊的文件，这种文件的数据是由目录项组成的，每个目录项存储一个子目录或文件的名称以及对应的索引节点号。
文件系统中dentry和inode的主要作用
Linux内核研究者
03-23 288
文件系统中dentry和inode的主要作用
Centos安装python遇到ln: failed to create symbolic link ‘/usr/bin/python’: File exists
qq_44768823的博客
09-09 2779
创建软连接的时候 ln -s /usr/local/python3.6/bin/python3.6 /usr/bin/python 报错 意思就是说文件已经存在 使用ln -sf /usr/local/python3.6/bin/python3.6 /usr/bin/python ln -sf 覆盖原来的文件
linux文件系统dentry_linux文件系统驱动
weixin_31913557的博客
02-26 344
razvan@valhalla:~/school/so2/wiki$ ls -i1277956 lab10.wiki1277962 lab9.wikibak1277964 replace_lxr.sh1277954 lab9.wiki1277958 link.txt1277955 homework.wikifile文件按是文件系统模型的组件，和用户最接近，此结构只存在于内存作为VFS的实体，在磁盘...
Linux文件系统基础之inode和dentry
jinking01的专栏
03-23 911
inode(节点)和dentry(目录项)在VFS和实体的文件系统（ext2、ext3等）中都是比较重要的概念。首先看一下虚拟文件系统的标准定义：虚拟文件系统（英语：virtual file system，缩写为VFS），又称虚拟文件切换系统（virtual filesystem switch），是操作系统的文件系统虚拟层，在其下是实体的文件系统。虚拟文件系统的主要功用在于让上层的软件，能够用单一...
文件系统之目录项缓存（dentry）
m0_74282605的博客
01-10 404
dentry_hashtable是一个数组，数组成员是hash链表的数据结构，如果某个文件已经打开过，那么内存中就应该有该文件的dentry结构，并且该dentry被链接到dentry_hashtable数组的某个hash链表头。（1）一个散列表包含了多有的dentry对象，由dentry_hashtable数组实现，每个数组元素是指向一个链表的指针，这种链表就是将具有相同散列值的目录项进行散列形成的。正在使用状态：正在被使用，d_count的值大于0，d_inode任然指向相关的索引节点。
Linux的文件系统中iterate_shared函数如何实现
06-10
`iterate_shared()` 函数是 Linux 文件系统中的一个遍历目录项的函数，它的作用是遍历一个目录下所有的目录项。具体实现如下： ```c int iterate_shared(struct file *file, struct dir_context *ctx) { struct ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值