sync、fsync与fdatasync函数详解

最新推荐文章于 2024-09-26 16:40:57 发布
最新推荐文章于 2024-09-26 16:40:57 发布
阅读量1.6k 收藏 3
点赞数
文章标签： sync fsync fdatasync sync_binlog mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jh993627471/article/details/79189078
版权
本文详细介绍了Unix系统中的sync、fsync和fdatasync三个函数，它们用于确保数据从内存缓冲区同步到磁盘。sync函数将所有修改过的块缓冲区写入队列，但不等待实际写入；fsync则针对特定文件，不仅同步数据，还等待写入完成，适用于数据库需求；fdatasync仅同步文件数据，不包括元数据，适合需要事务保证的场景。了解这些函数有助于正确处理文件系统的持久性和一致性。
摘要由CSDN通过智能技术生成

在研究mysql配置文件中sync_binlog=N参数之中，发现该参数的含义是在N个SQL之后，调用了fdatasync()函数刷新binlog到磁盘，所以就好好研究了下sync、fsync和fdatasync这三个函数，也记录下来分享一波。

名词解释：

脏页：当进程修改了缓存中的数据时，该页就被标记为脏页

内存映射：一个文件到一块内存的映射

延迟写（delayed write）: 传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。 当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则 并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时， 再将该缓冲排入到输出队列，然后待其到达队首时，才进行实际的I/O操作。


延迟写减少了磁盘读写的次数，但是降低了文件内容的更新速度，所以就会在一段时间内文件数据没有写到磁盘上，

最低0.47元/天 解锁文章
jh993627471
关注
Linux sync 、fsync 和 fdatasync详解
MISAYAONE的博客
09-21 1962
ES 里，摒弃了 fsync，嫌它太耗时， 它使用了数据的冗余备份来实现的数据的安全性。 传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，...
dd 测试sync、fsync和fdatasync参数详解
流年的专栏
04-28 7844
Linux系统下使用dd命令测试磁盘读写速度技巧
函数sync、fsync与fdatasync的总结整理(必看篇)
09-15
下面小编就为大家带来一篇函数sync、fsync与fdatasync的总结整理(必看篇)。小编觉得挺不错的。现在就分享给大家。也给大家做个参考。一起跟随小编过来看看吧
linux 同步IO: sync、fsync与fdatasync
热门推荐
Cynric 的博客
04-07 8万+
传统的UNIX实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘I/O都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘块数据时，再将该缓冲排入输出队列，然后待其到达队首时，才进行实际的I/O操作。这种输出方式被称为延迟写（delayed write）（Bach
【Java】SpringBoot使用@Sync注解 异步批量插入百万条数据
最新发布
Passer_hua的博客
09-26 377
多线程方式可以提高插入数据的效率，网络对数据新增的影响也很大。如下：写了一个简单案例，创建了100w条数据,然后调用。然后进行分割每1000条一组，然后交给异步方法进行调用。对于IO密集型 更多的线程池对于提升速度效果不明显。进行线程阻塞，这样方便查看所有线程执行完成的耗时。是不推荐使用的，但是我们可以自定义线程池。一般springBoot默认自带的。线程池方式对于提升速度有显著效果。同样是创建了10w条数据。使用注解标记方法使用异步。启动类上需要加上这个注解。批量插入数据的简单案例。
fsync()和fdatasync()函数
lidan3959的专栏
02-03 1741
转自：http://book.2cto.com/201212/11770.html 来自《UNIX/Linux程序设计教程》   前言：         Linux，unix在内核中设有 缓冲区高速缓冲或页面高速缓冲，大多数磁盘I/O都通过缓冲进行，采用延迟写技术。 sync:将所有修改过的快缓存区排入写队列，然后返回，并不等待实际写磁盘操作结束 fsync：只对有文件描述符制定的
sync/fsync/fdatasync的简单比较
I'm lovin' it
09-07 6291
之前在研究MySQL的一个参数innodb_flush_method时，就涉及到了fsync/fdatasync这些系统调用[system call]（什么是系统调用？它与库函数的区别在哪？参见这里）。接下来就简单的分析一下sync/fsync/fdatasync的区别。         sync()：int sync( void )这就是它的原型，A call to this function
sync、fsync和fdatasync
发发说代码
08-07 298
为了提高实际文件和缓存内容的一致性，UNIX提供了三个函数 sync：写入队列即返回，不等待写入磁盘操作 fsync：等待写磁盘操作结束再返回。常用于数据库等需要确保将修改内容立即写入磁盘的程序 fdatasync：同fsync，但只影响数据部分，不更新文件属性，性能有所提升 ...
linux IO刷新机制sync, fsync, fdatasync和fflush详解及注意事项
hwmstudent的博客
02-17 2373
Linux，unix在内核中设有 缓冲区高速缓冲或页面高速缓冲，大多数磁盘I/O都通过缓冲进行，采用延迟写技术。 sync:将所有修改过的快缓存区排入写队列，然后返回，并不等待实际写磁盘操作结束 fsync：只对有文件描述符制定的单一文件起作用，并且等待些磁盘操作结束，然后返回。 fdatasync：类似fsync，但它只影响文件的数据部分。fsync还会同步更新文件的属性。 fflush：标准I/O函数（如：fread，fwrite）会在内存建立缓冲，该函数刷新内存缓冲，将内容写入内核缓冲，要想将其写入磁
浅谈分布式存储之sync详解
qq_23929673的博客
01-27 1286
文章目录前言posixsyncfsyncmsyncfdatasyncO_SYNCsync_file_range 前言 由于内存比磁盘读写速度快了好几个数量级，为了弥补磁盘IO性能低，Linux内核引入了页面高速缓存(PageCache)。我们通过Linux系统调用(open—>write)写文件时，内核会先将数据从用户态缓冲区拷贝到PageCache便直接返回成功，然后由内核按照一定的策略把...
函数sync、fsync与fdatasync总结整理
Yancygao的专栏
07-13 1万+
脏页:linux内核中的概念，因为硬盘的读写速度远赶不上内存的速度，系统就把读写比较频繁的数据事 先放到内存中，以提高读写速度，这就叫高速缓存，linux是以页作为高速缓存的单位，当进程修改了高速缓存里 的数据时，该页就被内核标记为脏页，内核将会在合适的时间把脏页的数据写到磁盘中去，以保持高速缓存中的 数据和磁盘中的数据是一致的。       内存映射：内存映射文件，是由一个文件到一块内存
fsync
码农崛起
11-17 1600
相关函数：sync 头文件：#include 定义函数：int fsync(int fd); 函数说明：fsync()负责将参数fd 所指的文件数据, 由系统缓冲区写回磁盘, 以确保数据同步. 返回值：成功则返回0, 失败返回-1, errno 为错误代码.
sync，fsync，fdatasync函数
千叶why
03-03 423
1.写时延迟 通常unix系统有buffer cache或者page cache在kernel里面，通过这些磁盘I/O来进行工作。 当我们写数据到文件时，数据通常被内核拷贝到cache里面以待以后写到磁盘。这被称为写时延迟。 内核最终都会讲写时延迟的数据块写到磁盘中，通常当它需要重新使用buffer的来写到磁盘时。为了保证文件系统和 cache内容在磁盘上的一致性，从而有了sync fsy
fsync、sync、fdatasync函数
sun_gao的专栏
11-20 818
sync、fsync、fdatasync 函数原型： int fsync( int fd ) int fdatasync( int fd ) void sync( void ) sync 函数只是将所有修改过的内容排到写入队列中，然后就返回。它并不等待实际的写入。 fsync 只对fd描述符指向的文件起作用并等待磁盘操作结束。 fdatasync 类似于fsy
fsync函数
songyang516的专栏
09-15 1万+
fsync函数，将文件数据同步到硬盘 功能描述：  系统调用fsync将所有已写入文件描述符fd的数据真正的写道磁盘或者其他下层设备上。 用法： #include int fsync(int fd); #ifdef _POSIX_SYNCHRONIZ
fdatasync
Edidaughter的博客
04-23 377
sync、fsync与fdatasync函数详解 fsync和fdatasync系统调用实现
【Linux C | 文件I/O】文件数据的同步 | sysc、fsync 和 fdatasync 函数
wkd_007的博客
01-01 4564
本文介绍文件数据的同步的几个函数 `sysc`、`syscfs`、`fsync` 和 `fdatasync`。
sync、fsync 和 fdatasync 函数
Hello_NB1的博客
01-05 509
转自: 《UNIX 环境高级编程(第二版中文)》 第三章 文件I/O 3.13 sync, fsync 和 fdatasync 函数 传统的 unix 实现在内核中设有缓冲区高速缓存或页面高速缓存，大多数磁盘 I/O 都通过缓冲进行。当将数据写入文件时，内核通常先将该数据复制到其中一个缓冲区中，如果该缓冲区尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓冲区以便存放其他磁盘...
fsync, fdatasync
now_zhouqi的专栏
09-29 439
NAME        fsync, fdatasync - synchronize a file's in-core state with storage device SYNOPSIS        #include        int fsync(int fd);        int fdatasync(int fd); DESCRIPTION        
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值