深入理解缓存IO和非缓存IO

深入理解缓存IO和非缓存IO

一、系统调用的概念

​ 首先，要对系统调用进行了解。
​ 系统调用，每个操作系统在内核里有一些内建的函数库，这些函数将应用程序的请求传给内核，完成系统调用，调用相应的的内核函数完成所需的处理，将处理结果返回给应用程序。这些函数集合起来就叫做程序接口或应用编程接口(Application Programming Interface，API)。我们要在这个系统上编写各种应用程序，就是通过这个API接口来调用系统内核里面的函数。如果没有系统调用，那么应用程序就失去内核的支持，不能工作。

二、不带缓存的I/O操作

​ linix对IO文件的操作分为不带缓存的IO操作和带缓存的IO操作（标准IO操作）

​ 1、不带缓存，不是直接对磁盘文件进行读取操作，像read()和write()函数，他们属于系统调用，做无缓存IO是因为在用户层没有缓存，但对于内核来说，还是进行了缓存，只是用户层看不到罢了。

​ 2、带不带缓存是相对来说的，如果你要写入数据到文件上时（就是写入磁盘上），内核先将数据写入到内核中所设的缓冲储存器，假如这个缓冲储存器的长度是100个字节，你调用系统函：ssize_t write (int fd,const void * buf,size_t count)； 写操作时，设每次写入长度count=10个字节，那么你几要调用10次这个函数才能把这个缓冲区写满，此时数据还是在缓冲区，并没有写入到磁盘，缓冲区满时才进行实际上的IO操作，把数据写入到磁盘上，所以上面说的“不带缓存""不是没有缓存而是没有直写进磁盘就是这个意思。

三、带缓存的I/O操作

​ 带缓存IO（标准IO），不依赖系统内核，所以移植性强，使用标准IO操作为了减少对read()和write()的系统调用次数，带缓存IO其实就是在用户层再建立一个缓存区，这个缓存区的分配和优化长度等其他细节都是标准IO库代你处理好了。
​ 上面说要写数据到文件上，内核缓存（注意这个不是用户层缓存区）区长度是100字节，我们调用不带缓存的IO函数write()就要调用10次，这样系统效率低，现在我们在用户层建立另一个缓存区（用户层缓存区或者叫流缓存），假设流缓存的长度是50字节，我们用标准C库函数的fwrite()将数据写入到这个流缓存区里面，流缓存区满50字节后在进入内核缓存区，此时再调用系统函数write()将数据写入到文件（实质是磁盘）上，看到这里，你用该明白一点，标准IO操作fwrite()最后还是要掉用无缓存IO操作write,这里进行了两次调用fwrite()写100字节也就是进行两次系统调用write()。

​ 无缓存IO操作数据流向路径：数据——内核缓存区——磁盘
​ 标准IO操作数据流向路径：数据——流缓存区——内核缓存区——磁盘

​ 标准I/O对每个I/O流自动进行缓存管理（标准I/O函数通常调用malloc来分配缓存）。它提供了三种类型的缓存：
​ 1) 全缓存：缓存满时I/O操作。磁盘上的文件通常是全缓存的。
​ 2）行缓存。当输入输出遇到新行符或缓存满时.stdin、stdout通常是行缓存的。
​ 3)无缓存。相当于read、write了。stderr通常是无缓存的

在标准I / O库不足之处:

​ 当使用每次一行函数fgets和fputs时，通常需要复制两次数据
​ 一次是在内核和标准I / O缓存之间（当调用read和write时）
​ 第二次是在标准I / O缓存（通常系统分配和管理）和用户程序中的行缓存（fgets的参数就需要一个用户行缓存指针）之间。

使用标准I / O例程的一个优点是无需考虑缓存及最佳I / O长度的选择，并且它并不比直接调用read、write慢多少。

​ 带缓存的文件操作是标准C 库的实现，第一次调用带缓存的文件操作函数时标准库会自动分配内存并且读出一段固定大小的内容存储在缓存中。所以以后每次的读写操作并不是针对硬盘上的文件直接进行的，而是针对内存中的缓存的。何时从硬盘中读取文件或者向硬盘中写入文件有标准库的机制控制。不带缓存的文件操作通常都是系统提供的系统调用，更加低级，直接从硬盘中读取和写入文件，由于 IO瓶颈的原因，速度并不如意，而且原子操作需要程序员自己保证，但使用得当的话效率并不差。另外标准库中的带缓存文件IO 是调用系统提供的不带缓存IO实现的。

四、标准IO的使用

​ 标准IO的目的：为了提高效率.
​ buffered I/O中都是库函数,而unbuffered I/O中为系统调用,使用库函数的效率是高于使用系统调用的.buffered I/O就是通过尽可能的少使用系统调用来提高效率的.
​ 它的基本方法是,在用户进程空间维护一块缓冲区,第一次读(库函数)的时候用read(系统调用)多从内核读出一些数据,下次在要读(库函数)数据的时候,先从该缓冲区读,而不用进行再次read(系统调用)了.同样,写的时候,先将数据写入(库函数)一个缓冲区,多次以后,在集中进行一次write(系统调用),写入内核空间.

​ 利用标准IO读取数据的例子

#include <stdio.h>

int main(void)
{
   
	char buf[10];
	FILE *myfile = stdin;
	fgets(buf, 5, myfile);
	myfile = stdout;
	fputs(buf, myfile);

	return 0;
}

​ linux下关于FILE 的定义

typedef struct _IO_FILE FILE;

struct _IO_FILE {
   
  int _flags;		/* High-order word is _IO_MAGIC; rest is flags. */
#define _IO_file_flags _flags

  /* The following pointers correspond to the C++ streambuf protocol. */
  /* Note:  Tk uses the _IO_read_ptr and _IO_read_end fields directly. */
  char* _IO_read_ptr;	/* Current read pointer */
  char* _IO_read_end;	/* End of get area. */
  char* _IO_read_base;	/* Start of putback+get area. */
  char* _IO_write_base;	/* Start of put area. */
  char* _IO_write_ptr;	/* Current put pointer. */
  char* _IO_write_end;	/* End of put area. */
  char* _IO_buf_base;	/* Start of reserve area. */
  char* _IO_buf_end;	/* End of reserve area. */
  /* The following fields are used to support backing up and undo. */
  char *_IO_save_base; /* Pointer to start of non-current get area. */
  char *_IO_backup_base;  /* Pointer to first valid character of backup area */
  char *_I