sync、fsync、fdatasync、fflush函数

       传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘 I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满 或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写 （delayed write）（Bach [1986]第3章详细讨论了缓冲区高速缓存）。

        延迟写减少了磁盘读写次数，但是却降低了文件内容的更新速度，使得欲写到文件中的数据在一段时间内并没有写到 磁盘上。当系统发生故障时，这种延迟可能造成文件更新内容的丢失。为了保证磁盘上实际文件系统与缓冲区高速缓存中内容的一致性，UNIX系统提供了 sync、fsync和fdatasync三个函数。

（1）sync  函数只是将所有修改过的块缓冲区排入写队列，然后就返回，它并不等待实际写磁盘操作结束。

通常称为update的系统守护进程会周期性地（一般每隔30秒）调用sync函数。这就保证了定期冲洗内核的块缓冲区。命令sync(1)也调用sync函数。

（2）fsync  函数是系统提供的系统调用。只对由文件描述符filedes指定的单一文件起作用，并且等待写磁盘操作结束，然后返回。fsync可用于数据库这样的应用程序，这种应用程序需要确保将修改过的块立即写到磁盘上。接受的时一个Int型的文件描述符。

（3）fdatasync  函数类似于fsync，但它只影响文件的数据部分。而除数据外，fsync还会同步更新文件的属性。

（4）fflush：标准I/O函数（如：fread，fwrite）会在内存建立缓冲，该函数刷新内存缓冲，将内容写入内核缓冲，要想将其写入磁盘，还需要调用fsync（先调用fflush后调用fsync，否则不起作用）。fflush接受一个参数FILE *。

c库缓冲-----fflush---------〉内核缓冲--------fsync-----〉磁盘

本说明中所有四种平台都支持sync和fsync函数。但是，FreeBSD 5.2.1和Mac OS X 10.3并不支持fdatasync。

不带缓存IO和标准(带缓存)IO

(2014-05-22 13:47:02)

转载▼

标签： linux

分类：linux

系统调用：只操作系统提供给用户程序调用的一组接口-------获得内核提供的服务。

在实际中程序员使用的通常不是系统调用，而是用户编程接口API，也称为系统调用编程接口。它是遵循Posix标准（Portableoperation systeminterface），API函数可能要一个或者几个系统调用才能完成函数功能，此函数通过c库（libc）实现，如read，open。

fsync：是把内核缓冲刷到磁盘上。

fflush:是把C库中的缓冲调用write函数写到磁盘[其实是写到内核的缓冲区]。

linux对IO文件的操作分为：

不带缓存：open  read。posix标准，在用户空间没有缓冲，在内核空间还是进行了缓存的。数据-----内核缓存区----磁盘

  假设内核缓存区长度为100字节，你调用 ssize_twrite (int fd,const void * buf,size_tcount);写操作时，设每次写入count=10字节，那么你要调用10次这个函数才能把这个缓存区写满，没写满时数据还是在内核缓冲区中，并没有写入到磁盘中，内核 缓存区满了之后或者执行了fsync（强制写入硬盘）之后，才进行实际的IO操作，吧数据写入磁盘上。

带缓存区：fopen fwrite fget等，是c标准库中定义的。数据-----流缓存区-----内核缓存区----磁盘。

 假设流缓存区长度为50字节，内核缓存区100字节，我们用标准c库函数fwrite()将数据写入到这个流缓存中，每次写10字节，需要写5次流缓存区满后调用write()(或 调用 fflush() )，将数据写到内核缓存区，直到 内核 缓存区满了之后或者执行了fsync（强制写入硬盘）之后，才进行实际的IO操作，吧数据写入磁盘上。标准IO操作fwrite()最后还是要掉用无缓存IO操作write。

以fgetc / fputc 为例,当用户程序第一次调用fgetc 读一个字节时,fgetc 函数可能通过系统调用进入内核读1K字节到I/O缓冲区中,然后返回I/O缓冲区中的第一个字节给用户,把读写位置指向I/O缓冲区中的第二个字符,以后用户再调fgetc ,就直接从I/O缓冲区中读取,而不需要进内核了,当用户把这1K字节都读完之后,再次调用fgetc 时,fgetc 函数会再次进入内核读1K字节到I/O缓冲区中。在这个场景中用户程序、C标准库和内核之间的关系就像在“Memory Hierarchy”中CPU、Cache和内存之间的关系一样,C标准库之所以会从内核预读一些数据放在I/O缓冲区中,是希望用户程序随后要用到这些数据,C标准库的I/O缓冲区也在用户空间,直接从用户空间读取数据比进内核读数据要快得多。另一方面,用户程序调用fputc 通常只是写到I/O缓 冲区中,这样fputc函数可以很快地返回,如果I/O缓冲区写满了,fputc 就通过系统调用把I/O缓冲区中的数据传给内核,内核最终把数据写回磁盘或设备。有时候用户程序希望把I/O缓冲区中的数据立刻传给内核,让内核写回设备或磁盘,这称为Flush操作,对应的库函数是fflush,fclose函数在关闭文件之前也会做Flush操作。

 

C标准库的I/O缓冲区有三种类型:全缓冲、行缓冲和无缓冲。当用户程序调用库函数做写操作时, 不同类型的缓冲区具有不同特性。

   全缓冲

如果缓冲区写满了就写回内核。常规文件通常是全缓冲的。

  行缓冲

如果用户程序写的数据中有换行符就把这一行写回内核,或者如果缓冲区写满了就写回内核。标准输入和标准输出对应终端设备时通常是行缓冲的。

    无缓冲

用户程序每次调库函数做写操作都要通过系统调用写回内核。标准错误输出通常是无缓冲的,这样用户程序产生的错误信息可以尽快输出到设备。

 除了写满缓冲区、写入换行符之外,行缓冲还有两种情况会自动做Flush操作。如果: 
用户程序调用库函数从无缓冲的文件中读取 
或者从行缓冲的文件中读取,并且这次读操作会引发系统调用从内核读取数据

虽然write系统调用位于C标准库I/O缓冲区的底 层,被称为Unbuffered I/O函数,但在write的底层也可以分配一个内核I/O缓冲区,所以write 也不一定是直接写到文件的,也可能写到内核I/O缓冲区中,可以使用fsync函数同步至磁盘文件，至于究竟写到了文件中还是内核缓冲区中对于进程来说是没有差别的,如果进程A和进程B打开同一文件,进程A写到内核I/O缓冲区中的数据从进程B也能读到,因为内核空间是进程共享的,而c标准库的I/O缓冲区则不具有这一特性,因为进程的用户空间是完全独立的.