[Linux][基础IO][二][缓冲区][理解文件系统]详细解读-CSDN博客

本文链接：https://blog.csdn.net/qq_37281656/article/details/137758565

1.缓冲区

0.缓冲区的刷新策略

一般情况
1. 立即刷新
2. 行刷新(行缓冲)
3. 满刷新(全缓冲)
特殊情况
1. 用户强制刷新(fflush)
2. 进程退出
所有的设备，永远都倾向于全缓冲
- 缓冲区满了，才刷新 --> 需要更少的IO次数 --> 更少次的外设访问 --> 提高效率
- 和外部设备IO的时候，数据量的大小不是主要矛盾，和外设预备IO的过程是最耗费时间的
一般而言
- 行缓冲的设备文件 --> 显示器
- 全缓冲的设备文件 --> 磁盘文件
缓冲策略 = 一般 + 特殊

1.何为缓冲区？

int main()
{
    const char *msg0 = "hello printf\n";
    const char *msg1 = "hello fwrite\n";
    const char *msg2 = "hello write\n";

    printf("%s", msg0);
    fwrite(msg1, strlen(msg0), 1, stdout);
    write(1, msg2, strlen(msg2));
    
    fork();
    return 0;
}

// 运行结果：  
// hello printf
// hello fwrite
// hello write

但如果对进程实现输出重定向呢？ ./hello > file

运行结果：  
hello write
hello printf
hello fwrite
hello printf
hello fwrite

发现printf和fwrite（库函数）都输出了2次，而write只输出了一次（系统调用）
- 一般C库函数写入文件时是全缓冲的，而写入显示器是行缓冲
  - printf&fwrite库函数会自带缓冲区（进度条例子就可以说明）
- 当发生重定向到普通文件时，数据的缓冲方式由行缓冲变成了全缓冲
  - 而放在缓冲区中的数据，就不会被立即刷新，甚至fork之后刷新
  - 但是进程退出之后，会统一刷新，写入文件当中
- fork的时候，父子数据会发生写时拷贝，所以当父进程准备刷新的时候，子进程也就有了同样的一份数据，随即产生两份数据
- write****没有变化，说明没有所谓的缓冲

2.总结

printf&fwrite库函数会自带缓冲区，而write系统调用没有带缓冲区
- 这里所说的缓冲区，都是用户级缓冲区
- 其实为了提升整机性能，OS也会提供相关内核级缓冲区，不过不再我们讨论范围之内
那这个缓冲区谁提供呢？
- printf&fwrite是库函数， write是系统调用，库函数在系统调用的“上层”，是对系统调用的“封装”
- 但是write没有缓冲区，而printf&fwrite有 –> 该缓冲区是二次加上的，又因为是C，所以由C标准库提供

2.理解文件系统

0.文件元数据

ls -l读取存储在磁盘上的文件信息，然后显示出来

模式 | 硬链接数 | 文件所有者 | 组 | 大小 | 最后修改时间 | 文件名

这个信息除了通过ls -l来读取，还有一个stat命令能够看到更多信息

1.了解文件系统 --> 理解inode

可将磁盘抽象成线性的结构 --> 数组 <-- 类比磁带理解
- 若想访问一个扇区，只要知道数组的下标即可
对磁盘的管理 --> 对该数组的管理
- 将数据存储到磁盘 --> 将数据存储到该数组
- 找到磁盘特定扇区的位置 --> 找到数组特定的位置
磁盘是典型的块设备，硬盘分区被划分为一个个的block
- 磁盘可被分区 --> 对磁盘的管理 --> 对一个小分区的管理 --> 对一个块的管理
- 一个block的大小是由格式化的时候确定的，并且不可以更改
Linux管理磁盘文件，是将文件内容和文件属性分开管理的
- 文件 = 内容 + 属性
Block Group：ext2文件系统会根据分区的大小划分为数个Block Group
Super Block：存放文件系统本身的结构信息(文件系统的属性信息)，记录的信息主要有：
- bolck和inode的总量
- 未使用的block和inode的数量
- 一个block和inode的大小
- 最近一次挂载的时间，最近一次写入数据的时间，最近一次检验磁盘的时间等其他文件系统的相关信息
- Super Block的信息被破坏，可以说整个文件系统结构就被破坏了
GDT：块组描述符，描述块组属性信息
- 这个块组多大？已经使用了多少？
- 有多少个inode？已经占用了多少个了？还剩多少个？
- 一共有多少个block？使用了多少？
Block Bitmap：记录着Data Block中哪个数据块已经被占用，哪个数据块没有被占用
- 如：10000+个blocks，10000+比特位，比特位和特定的block一一对应，比特位为1，代表该block被占用，否则表示可用
inode Bitmap：每个bit表示一个inode是否空闲可用
- 如：10000+个inode，10000+比特位，比特位和特定的inode一一对应，比特位为1，代表该inode被占用，否则表示可用
inode Table：存放文件属性
- 如：文件大小，所有者，最近修改时间等
- inode是一个大小为128字节的空间，保存的是对应文件的属性
- 该块组内，所有文件的inode空间的集合，需要标识唯一性，每一个inode块，都要有一个inode编号
- 一般而言：一个文件，一个inode，一个inode编号
Data blocks：存放文件内容
- 多个4KB(扇区*8)大小的集合，保存的都是特性文件的内容
- 为什么不以512字节为单位？ – 磁盘的基本单位扇区的大小 --> 512字节
  - 太小了，有可能会导致多次IO，进而导致效率的降低
  - 如果OS使用和磁盘一样的大小，万一磁盘基本大小变了的话，OS的源代码要不要进行更改？
  - 这样做到了硬件和软件(OS) 进行解耦
将属性和数据分开存放的想法看起来很简单，但实际上是如何工作的？
创建一个新文件主要有以下4个操作：

存储属性
- 内核先找到一个空闲的i节点（这里是263466），内核把文件信息记录到其中
存储数据
- 该文件需要存储在三个磁盘块，内核找到了三个空闲块：300，500，800
- 将内核缓冲区的第一块数据复制到300，下一块复制到500，以此类推
记录分配情况
- 文件内容按顺序300，500，800存放，内核在inode上的磁盘分布区记录了上述块列表
添加文件名到目录
- 新的文件名abc，Linux如何在当前的目录中记录这个文件？
- 内核将入口（263466，abc）添加到目录文件，文件名和inode之间的对应关系将文件名和文件的内容及属性连接起来

注意：
- 目录是文件吗？
  - 是，有自己的inode，有自己的data block
  - data block下存的是 文件名：inode 的映射关系
  - 文件名、inode互为key值
- 明明磁盘还有空间，为什么创建文件失败？
  - inode****是固定的，data block是固定的
  - 可能是inode数量不够了，也可能是data block数量不够了，导致无法分配

2.软硬链接

软硬链接的本质区别：有没有独立的inode
真正找到磁盘上文件的并不是文件名，而是inode
- 在Linux中可以让多个文件名对应于同一个inode
理解硬链接
- 硬链接没有独立的inode --> 硬链接不是一个独立的文件
- 硬链接是通过inode引用另外一个文件
  - 创建硬链接，不是真正的创建新文件
- 创建硬链接，究竟做了什么？
  - 在指定的目录下，建立了文件名和指定inode的映射关系 – 仅此而已
- 硬链接通过引用计数来判断有多少个文件名和某inode有关联
理解软链接
- 软连接有独立的inode --> 软链接是一个独立的文件
- 软链接是通过名字引用另外一个文件
  - 可以理解成为：软连接的文件内容，是指向的文件对应的路径
  - 应用：相当于Windows下的快捷方式
设置软硬链接