sync、fsync与fdatasync函数详解

最新推荐文章于 2024-06-27 21:12:44 发布
最新推荐文章于 2024-06-27 21:12:44 发布
阅读量1.6k 收藏 3
点赞数
文章标签： sync fsync fdatasync sync_binlog mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jh993627471/article/details/79189078
版权
本文详细介绍了Unix系统中的sync、fsync和fdatasync三个函数，它们用于确保数据从内存缓冲区同步到磁盘。sync函数将所有修改过的块缓冲区写入队列，但不等待实际写入；fsync则针对特定文件，不仅同步数据，还等待写入完成，适用于数据库需求；fdatasync仅同步文件数据，不包括元数据，适合需要事务保证的场景。了解这些函数有助于正确处理文件系统的持久性和一致性。
摘要由CSDN通过智能技术生成

在研究mysql配置文件中sync_binlog=N参数之中，发现该参数的含义是在N个SQL之后，调用了fdatasync()函数刷新binlog到磁盘，所以就好好研究了下sync、fsync和fdatasync这三个函数，也记录下来分享一波。

名词解释：

脏页：当进程修改了缓存中的数据时，该页就被标记为脏页

内存映射：一个文件到一块内存的映射

延迟写（delayed write）: 传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。 当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则 并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时， 再将该缓冲排入到输出队列，然后待其到达队首时，才进行实际的I/O操作。


延迟写减少了磁盘读写的次数，但是降低了文件内容的更新速度，所以就会在一段时间内文件数据没有写到磁盘上，

最低0.47元/天 解锁文章
jh993627471
关注
Linux sync 、fsync 和 fdatasync详解
MISAYAONE的博客
09-21 1897
ES 里，摒弃了 fsync，嫌它太耗时， 它使用了数据的冗余备份来实现的数据的安全性。 传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，...
同步内核缓冲区 sync、fsync和fdatasync函数
sinat_AQ的博客
05-07 525
同步内核缓冲区 转自：https://www.cnblogs.com/bhlsheji/p/5222271.html 1.缓冲区简单介绍 人生三大错觉之中的一个：在调用函数write()时，我们觉得该函数一旦返回，数据便已经写到了文件里.可是这样的概念仅仅是宏观上的.实际上。操作系统实现某些文件I/O时（如磁盘文件）。为了保证I/O的效率，在内核一般会用到一片专门的区域（内存或独立的...
函数sync、fsync与fdatasync的总结整理(必看篇)
09-15
下面小编就为大家带来一篇函数sync、fsync与fdatasync的总结整理(必看篇)。小编觉得挺不错的。现在就分享给大家。也给大家做个参考。一起跟随小编过来看看吧
深入理解Unix/Linux中sync、fsync、fdatasync和sync_file_range系统调用以及他们的区别
最新发布
Go与Python双剑合一
06-27 1962
在linux内核中都有缓冲区或者页面高速缓存，大多数磁盘IO都是通过缓冲写的。当你想将数据write进文件时，内核通常会将该数据复制到其中一个缓冲区中，如果该缓冲没被写满的话，内核就不会把它放入到输出队列中。当这个缓冲区被写满或者内核想重用这个缓冲区时，才会将其排到输出队列中。等它到达等待队列首部时才会进行实际的IO操作。在进行数据库开发时，为了避免缓存中的数据还没有写入到磁盘就宕机导致的数据丢失，就需要使用fsync或这fdatasync来保证数据成功写入磁盘。
linux 同步IO: sync、fsync与fdatasync
热门推荐
Cynric 的博客
04-07 8万+
传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写（delayed write）（Bach
fsync()和fdatasync()函数
lidan3959的专栏
02-03 1700
转自：http://book.2cto.com/201212/11770.html 来自《UNIX/Linux程序设计教程》   前言：         Linux，unix在内核中设有 缓冲区高速缓冲或页面高速缓冲，大多数磁盘I/O都通过缓冲进行，采用延迟写技术。 sync:将所有修改过的快缓存区排入写队列，然后返回，并不等待实际写磁盘操作结束 fsync：只对有文件描述符制定的
sync/fsync/fdatasync的简单比较
I'm lovin' it
09-07 6265
之前在研究MySQL的一个参数innodb_flush_method时，就涉及到了fsync/fdatasync这些系统调用[system call]（什么是系统调用？它与库函数的区别在哪？参见这里）。接下来就简单的分析一下sync/fsync/fdatasync的区别。         sync()：int sync( void )这就是它的原型，A call to this function
sync、fsync和fdatasync
发发说代码
08-07 276
为了提高实际文件和缓存内容的一致性，UNIX提供了三个函数 sync：写入队列即返回，不等待写入磁盘操作 fsync：等待写磁盘操作结束再返回。常用于数据库等需要确保将修改内容立即写入磁盘的程序 fdatasync：同fsync，但只影响数据部分，不更新文件属性，性能有所提升 ...
linux IO刷新机制sync, fsync, fdatasync和fflush详解及注意事项
hwmstudent的博客
02-17 2352
Linux，unix在内核中设有 缓冲区高速缓冲或页面高速缓冲，大多数磁盘I/O都通过缓冲进行，采用延迟写技术。 sync:将所有修改过的快缓存区排入写队列，然后返回，并不等待实际写磁盘操作结束 fsync：只对有文件描述符制定的单一文件起作用，并且等待些磁盘操作结束，然后返回。 fdatasync：类似fsync，但它只影响文件的数据部分。fsync还会同步更新文件的属性。 fflush：标准I/O函数（如：fread，fwrite）会在内存建立缓冲，该函数刷新内存缓冲，将内容写入内核缓冲，要想将其写入磁
dd 测试sync、fsync和fdatasync参数详解
流年的专栏
04-28 7771
Linux系统下使用dd命令测试磁盘读写速度技巧
浅谈分布式存储之sync详解
qq_23929673的博客
01-27 1266
文章目录前言posixsyncfsyncmsyncfdatasyncO_SYNCsync_file_range 前言 由于内存比磁盘读写速度快了好几个数量级，为了弥补磁盘IO性能低，Linux内核引入了页面高速缓存(PageCache)。我们通过Linux系统调用(open—>write)写文件时，内核会先将数据从用户态缓冲区拷贝到PageCache便直接返回成功，然后由内核按照一定的策略把...
函数sync、fsync与fdatasync总结整理
Yancygao的专栏
07-13 1万+
脏页:linux内核中的概念，因为硬盘的读写速度远赶不上内存的速度，系统就把读写比较频繁的数据事 先放到内存中，以提高读写速度，这就叫高速缓存，linux是以页作为高速缓存的单位，当进程修改了高速缓存里 的数据时，该页就被内核标记为脏页，内核将会在合适的时间把脏页的数据写到磁盘中去，以保持高速缓存中的 数据和磁盘中的数据是一致的。       内存映射：内存映射文件，是由一个文件到一块内存
fsync
码农崛起
11-17 1553
相关函数：sync 头文件：#include 定义函数：int fsync(int fd); 函数说明：fsync()负责将参数fd 所指的文件数据, 由系统缓冲区写回磁盘, 以确保数据同步. 返回值：成功则返回0, 失败返回-1, errno 为错误代码.
sync，fsync，fdatasync函数
千叶why
03-03 410
1.写时延迟 通常unix系统有buffer cache或者page cache在kernel里面，通过这些磁盘I/O来进行工作。 当我们写数据到文件时，数据通常被内核拷贝到cache里面以待以后写到磁盘。这被称为写时延迟。 内核最终都会讲写时延迟的数据块写到磁盘中，通常当它需要重新使用buffer的来写到磁盘时。为了保证文件系统和 cache内容在磁盘上的一致性，从而有了sync fsy
fsync、sync、fdatasync函数
sun_gao的专栏
11-20 798
sync、fsync、fdatasync 函数原型： int fsync( int fd ) int fdatasync( int fd ) void sync( void ) sync 函数只是将所有修改过的内容排到写入队列中，然后就返回。它并不等待实际的写入。 fsync 只对fd描述符指向的文件起作用并等待磁盘操作结束。 fdatasync 类似于fsy
fsync函数
songyang516的专栏
09-15 1万+
fsync函数，将文件数据同步到硬盘 功能描述：  系统调用fsync将所有已写入文件描述符fd的数据真正的写道磁盘或者其他下层设备上。 用法： #include int fsync(int fd); #ifdef _POSIX_SYNCHRONIZ
fdatasync
Edidaughter的博客
04-23 350
sync、fsync与fdatasync函数详解 fsync和fdatasync系统调用实现
【Linux C | 文件I/O】文件数据的同步 | sysc、fsync 和 fdatasync 函数
wkd_007的博客
01-01 4129
本文介绍文件数据的同步的几个函数 `sysc`、`syscfs`、`fsync` 和 `fdatasync`。
Linux同步机制：fsync与fdatasync解析
sync、fsync和fdatasync是实现这一目标的关键函数，它们用于确保数据被正确地持久化到磁盘上。文章还提到了fflush在其中的作用以及与fsync的关系。" 在Linux操作系统中，为了提高性能，文件操作通常会使用缓存，而...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值