Linux文件IO深入剖析

目录

一、文件IO引发的项目血案

1、分析

一、Linux文件系统基本概念

1、文件系统接口

2、文件系统缓存

二、文件IO 访问方式概述

1、标准文件访问方式

2、直接IO

3、实现方式

4、缓存同步

5、Linux 文件IO流程图

6、血案解决

---

一、文件IO引发的项目血案

事件经过： 下午某时，一个重要客户的一封邮件不见了，客户要求公司赔偿他上百万的损失！在一个通宵后找到了问题所在，write 函数出问题了，邮件写入文件时write 返回成功,但写入大文件中的邮件内容不见了。一致认为write 函数执行完成后数据还没同步到物理存储的间隔系统出现宕机了............

1、分析

一、Linux文件系统基本概念

1、文件系统接口

文件系统 －一种把数据组织成文件和目录的存储方式，提供了基于文件的存取接口，并通过文件权限控制访问。

2、文件系统缓存

主存(通常是DRAM)的一块区域,用来缓存文件系统的内容，包含各种数据和元数据。

二、文件IO 访问方式概述

1、标准文件访问方式

2、直接IO

3、实现方式

open +O_DIRECT = 绕过内核缓冲区的直接访问，便有效避免了CPU和内存的多余时间开销。

注意：

后者只对写数据有效，它将写入内核缓冲区的数据立即写入磁盘，将机器故障时

数据的丢失减少到最小，但是它仍然要经过内核缓冲区。

4、缓存同步

缓存同步      －为了保证磁盘系统与缓冲区中内容一致，Linux 系统提供了 sync、fsync 和fdatasync 三个函数.

函数描述：向打开的文件写数据; 成功返回写入的字节数,若出错，返回-1。

头文件：#include <unistd.h>
        int fsync(int fd);
        int fdatasync(int fd);
        void sync(void);

说明：

sync - 将所有修改过的块缓冲区排入写队列，然后就返回，它并不等待实际写磁盘操作结束。

fsync - 将fd对应文件的块缓冲区立即写入磁盘，并等待实际写磁盘操作结束返回。

fdatasync - 类似fsync,但只影响文件的数据部分。而除数据外，fsync 还会同步更新文件属性。

5、Linux 文件IO流程图

6、血案解决