fwrite、fflush、fsync和setvbuf调用关系

于 2023-05-13 19:26:02 发布
阅读量604 收藏 1
点赞数
文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sun007700/article/details/130661278
版权

fwrite、fflush、fsync和setvbuf调用关系 - 简书 (jianshu.com)

当fwrite数据超过buffer大小，就会自动刷新到内核缓存，如果希望立刻刷新，就可以调用fflush。

此时内核缓存的数据并没有立刻同步到磁盘中去，会等待一个IO同步周期，然后同步到磁盘中去，比如在android设备中，同步周期为5秒钟左右，如果开发音视频录制功能，在同步周期到来之前发生掉电或程序Crash，则会发生数据丢失的问题，即使APP已经调用了fwrite。

如果希望内核缓存立刻同步到磁盘，可以调用fsync来强制系统执行IO同步，这个方法是阻塞方法，需要等待IO同步到磁盘完成后才会返回，所以需要注意调用的线程是否可以执行耗时的操作。

关系如下：

app --------fwrite------>  c库缓冲-----fflush--------->内核缓冲--------fsync----->磁盘



作者：__now
链接：https://www.jianshu.com/p/6f3ac6cfeaf3
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

sun007700
关注
【C/C++系列】fwrite与fflush的配合使用
CSDN明星博主，认证博客专家，视频、Matlab领域优质创作者。
12-15 1752
Date:2017-12-24 Author: SoaringLee 一、fprintf的使用 fprintf是C/C++中的一个格式化写—库函数，位于头文件<stdio.h>中，其作用是格式化输出到一个流/文件中；函数原型为int fprintf( FILE *stream, const char *format, [ argument ]...)，fprintf()函数根据指定的格式(format)向输出流(stream)写入数据(argument)。 用法： #inc..
fread，fwrite数据写磁盘流程|fflush--linux编程写文件注意问题（fwrite没有直接写入文件）
bandaoyu的note
11-07 7454
fwrite,fflush https://blog.csdn.net/zhangxiong2532/article/details/50608898 fread，fwrite>>内存缓冲（用户空间) -->fflush>>内核缓冲--->fsync>>磁盘 fflush：标准I/O函数（如：fread，fwr...
fileno fsync fwrite fflush
Devin Chen的专栏
06-02 2103
<br />调用fwrite函数之后，文件是被写到缓冲区的，用fflush函数之后，会把缓冲区中的文件写到文件系统中，通过fileno获得文件描述符之后，通过调用fsync函数可以把文件写道磁盘介质当中。
fwrite函数与fflush函数
主要记录嵌入式学习与开发过程。
12-15 1861
以下内容源于网络资源的学习与整理，欢迎交流。
Linux I/O操作fsync后数据就安全了么(fsync、fwrite、fflush、mmap、write barriers详解)
跳小闹成长记
08-02 1万+
前段时间一直在研究磁盘顺序写和随机写，以及Java直接内存相关的问题，于是在各类资料或者源码中常常看到flush、mmap等概念和相关使用。然后开始各个击破，一个一个去理解其含义。终于都理清楚之后，回来总结却发现，自己越来越糊涂了。于是产生了如下疑问： 1、fsync和fwrite/fflush组合的区别是啥？ 2、mmap和fsync有什么关系？ 3、为什么都说fsync之后数据就不会丢失了，真的不会丢失么？ 4、数据写入磁盘就安全了么？ 5、为什么不能直接close文件，而需要先flush？
fflush、sync、fsync、fdatasync、fclose
且行且珍惜
11-02 3001
https://blog.csdn.net/FPGATOM/article/details/84703491https://blog.csdn.net/qq_41453285/article/details/88941906https://stackoverflow.com/questions/2340610/difference-between-fflush-and-fsync sync：将所有...
fwrite,fflush,你不知道的事！
热门推荐
zhangxiong2532的博客
01-29 2万+
正常调用fwrite函数后数据没有写入文件的原因之一。
linux fwrite 效率,[结贴]能否让write函数写入的内容,直到fsync才真的写入磁盘呢?
weixin_39849387的博客
05-25 387
linux的系统调用write/read在用户级是没有缓存的(不像stdio那样有buffer)，而在内核级是有缓存的，对吧?但是我写了一个小程序，来测试write操作是不是立刻写入磁盘，用RHEL6.3编译运行，如下:#include#includeintmain(){intfd=open("/tmp/test1",O_CREAT|O_RDWR);if(fd<0)exit(1);wri...
fwrite的文件缓冲同步到磁盘
weixin_30507481的博客
03-24 738
这是个小细节。 用fwrite写文件的时候，我发现刷新文件夹，对应文件大小一直是0。 网上有一篇博客写得比较完善http://blog.csdn.net/sctq8888/article/details/7409985。 C语言中的：标准IO都有缓存区，这和系统缓冲不同，我们使用fflush()只保证了将IO缓冲写入系统缓冲中，使IO读操作能成功，但系统什么时候写...
Linux 核心编程 – fsync, write
weixin_33755554的博客
07-22 410
writessize_t write(int fd, const void *buf, size_t count);将数据写到文件中. 注意, 如果文件是保存在硬盘中, write() 函数调用返回之后, 并不表示数据已经写入到硬盘中, 这时如果掉电, 数据可能会丢失.fsyncint fsync(int fd);程序调用本函数, 通知内核把数据写到硬盘(file)中. 比如...
fsync与fflush的关系和区别
bingcheby的博客
04-04 5398
read/write/fsync与fread/fwrite/fflush的关系和区别 read/write/fsync： linux底层操作； 内核调用， 涉及到进程上下文的切换，即用户态到核心态的转换，这是个比较消耗性能的操作。 fread/fwrite/fflush： c语言标准规定的io流操作，建立在read/write/fsync之上 在用户层， 又增加了一层缓冲机制，用于减...
在用fwrite时最好配合fflush函数
willis
08-01 1353
今天在做将数据写到内存里时，用fopen、 fwirte函数时，发现最后的68个字节数据始终没有写进去：          nDatTotalSize = 2338884                              2338816            始终差68个字节，原来是没有注意fwrite是带缓冲的IO操作，要想写到磁盘里，得调用fflush函数即可。
fread, fwrite和fflush
菁华如风的博客
11-20 1603
fread和fwrite是标准IO，在调用文件IO的基础上封装了用户空间缓冲区。这样可以减少系统调用的次数，在频繁使用IO的场景中减少系统开销。 因此，调用fwrite向文件中写入数据时，数据不会立即被写入到文件中，而是先被写入到内存中的缓冲区，当缓冲区满或者调用fclose()或者调用fflush()后才会将内存缓冲区中的数据写入到目标文件中。其实，在调用fflush()后，再次调用fsync()方能保证fwite写入的数据写入到磁盘中。 调用fread()会一次性从文件中读出相当多的数据到用户.
PostgreSQL 9.6 平滑fsync, write原理浅析
weixin_33768481的博客
10-06 552
PostgreSQL 9.6 平滑fsync, write原理浅析 作者 digoal 日期 2016-10-06 标签 PostgreSQL , 9.6 , 平滑 fsync , write , smooth fsync 背景 汽车换挡是否平顺，通常取决于档位数，或者换挡技术。 档位数越多，换挡时感觉会约平顺，档位数较少的情况下，换挡可能会有...
read/write/fsync与fread/fwrite/fflush的关系和区别
ybxuwei的专栏
04-01 9600
read/write/fsync：  1. linux底层操作； 2. 内核调用， 涉及到进程上下文的切换，即用户态到核心态的转换，这是个比较消耗性能的操作。 fread/fwrite/fflush：  1. c语言标准规定的io流操作，建立在read/write/fsync之上 2. 在用户层， 又增加了一层缓冲机制，用于减少内核调用次数，但是增加了一次内存拷贝。 两者之
linux下的fsync
yql19ucas的博客
01-08 2063
当程序退出时，内存中的数据会被自动写入磁盘文件，因此通常情况下是不必调用fsync函数的。 但是，如果你的程序在写入数据之后立即退出，那么内存中的数据可能不会被写入磁盘文件，这时就必须调用fsync函数来强制写入磁盘文件。 如果你确实希望写入数据时尽快地返回，那么你可以选择不调用fsync函数。 但是，这意味着数据可能不会立即写入磁盘文件，这可能会导致数据丢失。 因此，在这种情况下，你需要权衡速度和安全之间的关系。
fflush/fsync/sync 区别
zhangxiaobo0715的博客
01-19 6578
fflush : 输入句柄为文件句柄(fopen句柄)， 把应用层缓存刷到内核层 (阻塞) fsync : 输入句柄为内核句柄(open句柄)，把内核层缓存刷到磁盘 (阻塞) sync : 设置同步状态，通知所有内核缓存刷到磁盘， (非阻塞) 清理缓存 echo 3 > /proc/sys/vm/drop_caches ...
函数sync、fsync与fdatasync的总结整理
鳴海步的博客
10-16 726
一、术语解释 脏页:linux内核中的概念，因为硬盘的读写速度远赶不上内存的速度，系统就把读写比较频繁的数据事先放到内存中，以提高读写速度，这就叫高速缓存，linux是以页作为高速缓存的单位，当进程修改了高速缓存里的数据时，该页就被内核标记为脏页，内核将会在合适的时间把脏页的数据写到磁盘中去，以保持高速缓存中的数据和磁盘中的数据是一致的。 内存映射：内存映射文件，是由一个文件到一块内存的映射。Win32提供了允许应用程序把文件映射到一个进程的函数 (CreateFileMapping)。内存映射文件与
sync fsync fdatasync fflush函数区别
03-11 1488
Linux、unix在内核中设有缓冲区、高速缓冲或页面高速缓冲，大多数磁盘I/O都通过缓冲进行，采用延迟写技术。 sync:将所有修改过的快缓存区排入写队列，然后返回，并不等待实际写磁盘操作结束； fsync：只对有文件描述符制定的单一文件起作用，并且等待些磁盘操作结束，然后返回； fdatasync：类似fsync，但它只影响文件的数据部分。fsync还会同步更新文件的属性； fflus
文件的数据缓冲区及其首指针是什么
最新发布
04-03
<think>嗯，用户之前问了文件描述符是什么，现在接着问文件的数据缓冲区及其首指针。看来他对操作系统中的文件处理机制感兴趣，可能是在学习相关的编程或系统知识。首先，我需要确认用户的基础，是否了解文件I/O的基本概念，比如文件描述符，然后逐步引入缓冲区的概念。 文件的数据缓冲区是用于临时存储数据的区域，可能用户已经知道文件操作需要读写数据，但具体缓冲区的存在和用途可能不太清楚。需要解释为什么需要缓冲区，比如减少系统调用次数，提高效率。首指针可能是指缓冲区的起始地址，也就是缓冲区的第一个位置，用户可能对指针和内存管理有一定了解，但需要简明扼要地解释。 接下来要区分用户态缓冲区和内核态缓冲区，用户可能混淆这两者。比如，C语言中的FILE结构体中的缓冲区属于用户态，而内核中的缓冲区则是系统层面的。需要举例说明，比如使用fwrite和write的区别，这样用户能更好地理解不同层面的缓冲。 还要注意用户的问题中提到了“首指针”，这可能涉及到缓冲区的管理，比如指针的位置如何影响读写操作。需要解释缓冲区的结构，比如起始指针、当前指针的位置，以及它们如何随着读写操作移动。 用户可能的应用场景包括编程时遇到缓冲区溢出的问题，或者想优化文件读写的性能。因此，需要结合实际例子，比如标准I/O库的使用，或者系统调用的直接操作，说明缓冲区的实际应用和注意事项。 需要确保回答结构清晰，分点说明，避免技术术语过于复杂，同时覆盖用户可能关心的点，比如缓冲区的类型、工作原理、指针的作用，以及常见问题如缓冲区未刷新的数据丢失等。最后总结应用场景和注意事项，帮助用户全面理解。</think>#### **1. 文件数据缓冲区的定义** **文件数据缓冲区**是操作系统或编程语言库在内存中开辟的一块临时存储区域，用于**批量缓存文件读写的数据**。 - **目的**：减少频繁的系统调用（如`read()`/`write()`），提升I/O效率。 - **层级**： - **用户态缓冲区**（如C标准库的`FILE`结构体中的缓冲区）。 - **内核态缓冲区**（操作系统内核管理的页缓存）。 --- #### **2. 缓冲区的首指针** **首指针**（或基地址）是缓冲区的**起始内存地址**，指向缓冲区中第一个字节的位置。 - **作用**： - 标识缓冲区的内存位置，便于程序通过指针偏移量读写数据。 - 结合**当前读写指针**（如`fpos`）实现数据顺序操作。 - **示例**： ```c char buffer[1024]; // 定义一个1024字节的缓冲区 char *buffer_ptr = buffer; // 首指针指向buffer的起始地址 ``` --- #### **3. 用户态缓冲区与内核缓冲区的区别** | **类型** | **用户态缓冲区** | **内核缓冲区** | |------------------|------------------------------------------|----------------------------------------| | **管理方** | 应用程序或语言库（如C的`FILE`） | 操作系统内核 | | **数据同步** | 需显式调用`fflush()`同步到内核缓冲区 | 自动由内核定期同步到磁盘（或手动`fsync()`） | | **效率** | 减少用户态与内核态切换次数 | 减少磁盘直接访问次数 | | **示例** | `fprintf()`写入数据到`FILE`缓冲区 | `write()`写入数据到内核页缓存 | --- #### **4. 缓冲区的工作流程** ##### **(1) 写入流程（用户态 → 内核 → 磁盘）** 1. 用户调用`fwrite()` → 数据写入`FILE`结构的用户态缓冲区。 2. 缓冲区满或调用`fflush()` → 数据通过`write()`系统调用提交到内核缓冲区。 3. 内核异步将数据从内核缓冲区写入磁盘（除非调用`fsync()`强制同步）。 ##### **(2) 读取流程（磁盘 → 内核 → 用户态）** 1. 用户调用`fread()` → 若用户态缓冲区无数据，触发`read()`系统调用。 2. 内核从磁盘预读数据到内核缓冲区，再拷贝到用户态缓冲区。 3. 程序从用户态缓冲区读取数据。 --- #### **5. 缓冲区的首指针与读写操作** - **首指针固定**：缓冲区的起始地址在初始化后不变。 - **当前指针移动**：通过偏移量（如`offset`）记录读写位置。 ```c FILE *fp = fopen("test.txt", "r"); char buf[1024]; fread(buf, 1, 100, fp); // 读取100字节，当前指针从buf[0]移动到buf[99] ``` --- #### **6. 缓冲区的三种模式** | **缓冲模式** | **说明** | **设置方法（C语言）** | |-----------------|---------------------------------------------|-------------------------------| | **全缓冲** | 缓冲区满时同步（默认用于普通文件） | `setvbuf(fp, buf, _IOFBF, size)` | | **行缓冲** | 遇到换行符`\n`时同步（默认用于终端） | `setvbuf(fp, buf, _IOLBF, size)` | | **无缓冲** | 直接同步到内核（如标准错误流） | `setvbuf(fp, buf, _IONBF, 0)` | --- #### **7. 缓冲区溢出的风险** - **问题**：写入数据超过缓冲区大小（如`buffer[1024]`中写入2000字节）。 - **后果**：内存越界，导致程序崩溃或安全漏洞（如栈溢出攻击）。 - **防护**： - 手动检查写入长度。 - 使用安全函数（如`snprintf()`替代`sprintf()`）。 --- #### **8. 应用场景与示例** ##### **(1) 标准I/O库的缓冲区管理** ```c FILE *fp = fopen("data.txt", "w"); char buf[4096]; setvbuf(fp, buf, _IOFBF, 4096); // 设置全缓冲，缓冲区大小4096字节 fprintf(fp, "Hello, World!"); // 数据暂存buf，未立即写入文件 fflush(fp); // 强制将buf中的数据提交到内核 ``` ##### **(2) 内核缓冲区与系统调用** ```c int fd = open("data.txt", O_WRONLY); char data[] = "Hello, Kernel!"; write(fd, data, sizeof(data)); // 数据先写入内核缓冲区，延迟同步到磁盘 fsync(fd); // 强制内核将缓冲区数据写入磁盘 ``` --- #### **9. 常见问题** - **Q：为什么程序崩溃时未保存的数据会丢失？** A：用户态缓冲区未调用`fflush()`，或内核缓冲区未调用`fsync()`，数据仍在内存中未写入磁盘。 - **Q：如何避免缓冲区溢出？** A：严格限制写入长度，使用带长度检查的函数（如`fgets()`替代`gets()`）。 - **Q：直接操作内核缓冲区是否更快？** A：是，但需权衡安全性和复杂性（如`O_DIRECT`标志绕过内核缓冲，直接读写磁盘）。 --- #### **10. 总结** - **文件数据缓冲区**是I/O性能优化的核心机制，通过内存暂存减少低速磁盘操作。 - **首指针**是缓冲区的起点，与当前指针配合实现数据定位。 - 理解用户态/内核态缓冲区的差异及同步机制，对开发高性能、高可靠性程序至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值