文件IO缓冲

文件I/O缓冲

系统I/O调用和C语言库I/O函数在操作磁盘文件时会对数据进行缓冲

介绍

read() 和 write() 调用在操作磁盘文件时不会直接发起磁盘访问，而是仅仅在用户空间缓冲区和内核缓冲区高速缓存之间复制数据。在后续某个时刻，内核会将其缓冲区的数据刷新到磁盘。当把缓冲区中的数据取完，这时内核会将文件的下一段内容读入缓冲区。

采用这一设计，使 read() 和 write() 调用的操作更为快捷。Linux 内核对缓冲区的大小没有固定上限。受限于：

• 物理内存总量
• 处于其他目的对物理内存的需求

若可用内存不足，则内核会将一些修改过的缓冲区刷新到磁盘，并释放它供系统重用。

Stdio库的缓冲

控制 stdio 库使用缓冲的形式

#include <stdio.h>

int setvbuf( FILE *stream, char *buf, int mode, size_t size );

参数 stream：标识要修改哪个文件流的缓冲

参数 buf：

• 不为 NULL，其指向 size 大小的内存块作为 stream 的缓冲区
• NULL，为 stream 自动分配缓冲区，忽略 size 参数

参数 mode：

• _IONBF：不对 I/O 进行缓冲，忽略 buf 和 size 参数
• _IOLBF：采用行缓冲 I/O
• _IOFBF：采用全缓冲 I/O

#include <stdio.h>

void setbuf( FILE *stream, char *buf );

setbuf() 函数构建于 setvbuf() 之上，setbuf( fp, buf ) 除了不返回函数结果外，相当于 setvbuf( fp, buf, ( buf != NULL ) ? _IOFBF : _IONBF, BUFSIZ ); BUFSIZ 定义于头文件 stdio.h 中。

#include <stdio.h>

int setbuffer( FILE *stream, char *buf, size_t size );

setbuffer( fp, buf, size )相当于setvbuf( fp, buf, (buf != NULL) ? _IOFBF, _IONBF, size )

刷新 stdio 缓冲区

#include <stdio.h>

int fflush( FILE *stream );

---

用于输出流时， 立即清空输出缓冲区，并把缓冲区内容输出。

#include <stdio.h>
#include <string.h>
#include <unistd.h>

int main()
{

   fprintf( stdout, "Hello World");

   while(1);
   return(0);
}

上面代码就无法输出 Hello Word，原因是默认是行缓冲， 换行符 \n 是行刷新标志，所以上述代码只是将 Hello World 放入了缓冲区。解决方案：

• 加入 \n 行刷新标志
• 手动调用 fflush( stdout )刷新缓冲区
• 调用 setvbuf( stdout, NULL, _IONBF, 0 ) 禁止缓冲区，这样就会直接进行输出

---

用于输入流时，丢弃已缓冲的输入数据。

#include <stdio.h>
#include <stdlib.h>
int main()
{
    char a;
    char c;

    a = getchar();
    /*刷新输入缓冲区，丢弃已存在内容*/
    if( fflush( stdin ) != 0 )
      perror("error");
    c = getchar();

    printf("a = %c, c = %c\n", a, c);

    return 0;
}

BUG：输入缓冲区没有清空，C依然接收到了字符

---

关闭相应流时，将自动刷新其 stdio 缓冲区。

文件I/O的内核缓冲

SUSv3 定义了两种不同类型的同步 I/O 完成：某一 I/O 操作，要么已完成到磁盘的数据传递，要么诊断为不成功。

• 同步 I/O 数据完整性：旨在针对文件的一次更新传递了足够的信息到磁盘
• 同步 I/O 文件完整性：将所有发生更新的文件元数据都传递到磁盘上，即使有些数据不需要

#include <unistd.h>

int fsync( int fd );

将缓冲数据和打开文件描述符 fd 相关的所有元数据都刷新到磁盘，强制文件处于同步 I/O 文件完整状态。

---

#include <unistd.h>

int fdatasync( int fd );

强制文件处于同步 I/O 数据完整，减少了对磁盘操作的次数：若修改了文件数据，而文件大小不变，那么调用 fdatasync() 只强制进行数据更新。而 fsync() 调用会强制将元数据传递到磁盘上。

---

#include <unistd.h>

void sync( void );

使包含文件信息的所有内核缓冲区（即数据块、指针块、元数据等）刷新到磁盘

---

open() 函数如指定了 O_SYNC 标志，例如 fd = open( pathname, O_WRONLY | O_SYNC )，那么每个 write 调用会自动将文件数据和元数据刷新到磁盘上。系统在将每个缓冲区中的数据向磁盘传递时会把程序阻塞起来。

I/O 系统调用会直接将数据传递到内核缓冲区高速缓存，而 stdio 库函数会到用户空间的流缓冲区填满，再调用 write() 将其传递到内核缓冲区高速缓存。所以下面代码往往会出现这种效果：

printf( "This is printf" ); /*后打印*/
write( STDOUT_FILENO, "Hello World\n", 12 ); /*先打印*/

但printf( "This is printf\n" );就会先打印，因为\n是行刷新标志。
面代码往往会出现这种效果：

printf( "This is printf" ); /*后打印*/
write( STDOUT_FILENO, "Hello World\n", 12 ); /*先打印*/

但printf( "This is printf\n" );就会先打印，因为\n是行刷新标志。