Linux文件写入同步

最新推荐文章于 2024-07-02 22:45:00 发布
最新推荐文章于 2024-07-02 22:45:00 发布
阅读量581 收藏 1
点赞数 1
文章标签： linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Asa_Glory/article/details/115913769
版权
本文介绍了Linux系统中文件写入的同步过程，包括USER CACHE到SYS CACHE，再到DISK的步骤，以及FSYNC和FSYNC配合WRITE BARRIER在确保数据持久化上的作用。讨论了Fopen的RB+和WB+模式可能导致的文件损坏情况，并提到了直接IO操作O_DIRECT的限制和同步命令sync、syncfs、fsync和fdatasync的功能区别。
摘要由CSDN通过智能技术生成

概述

        之前在一个项目中总是会出现设备突然断电后，某些文件成为0byte或者文件数据只写入一半的情况，
经过研究后发现该问题的复现操作为在写入文件时进行突然的断电或将程序kill，再追入其中发现这个问题      
实质上与linux的文件系统有关，linux为了提升系统的运行速率设计了虚拟文件系统，该系统实际上并不会 
立刻将你通过代码写入文件的数据写入磁盘，而是以一种缓冲区的方式先完成了写入数据的临时性存储， 
完成这一步，linux的虚拟文件系统就会返回写入完成，但此时数据并未写入到磁盘，如果此时发生断电等 
异常情况，就会出现开篇所述的问题，现将文件数据写入流程以及一些注意点记录如下：

文件数据的实际写入以及对应Func如下

fileWrite->usrCache: fwrite
usrCache->sysCache: fflush
sysCache->diskCache: fsync
diskCache->disk: barrier
  • usrCache --> sysCache
  • 应用程序write文件完成之后，
    文件数据是暂存于USER CACHE，
    利用FFLUSH，将USER CACHE
最低0.47元/天 解锁文章
Asa_Glory
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Linux文件读写机制及优化方式
littlewhite1989的专栏
09-19 3187
本文只讨论Linux下文件的读写机制，不涉及不同读取方式如read,fread,cin等的对比，这些读取方式本质上都是调用系统api read，只是做了不同封装。以下所有测试均使用open, read, write这一套系统api缓存缓存是用来减少高速设备访问低速设备所需平均时间的组件，文件读写涉及到计算机内存和磁盘，内存操作速度远远大于磁盘，如果每次调用read,write都去直接操作磁盘，一方面
Linux文件写入
love12fly@sina.com
05-19 272
#include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <stdio.h> #include <unistd.h> #include <stdlib.h> #include <string.h> int main() { int fd;//文件描述符 char *buf = "Linux filewrite";//要写
Linux文件数据写入
最新发布
iUcool的博客
07-02 995
结构体 fd fd也就是文件描述符，用于标识已经打开的文件、管道、socket等。是进程和内核的桥梁，允许进程执行各种文件操作 struct fd { struct file *file; unsigned int flags; }; file Linux内核中表示打开文件的结构体，包含了文件操作所需的各种信息和元数据。这是文件系统操作的核心结构之一，允许内核跟踪每个打开的文件及其相关的状态。 struct file { // 用于链接或者引用计数 union { // 链表节点
linux写文件操作同步,linux 可执行文件与写操作的同步问题(文件读写操作产生的锁机制)...
weixin_33497800的博客
04-30 212
当一个可执行文件已经为write而open时，此时的可执行文件是不允许被执行的。反过来，一个文件正在执行时，它也是不允许同时被write模式而open的。这个约束很好理解，因为文件执行和文件被写应该需要同步保护，因此内核会保证这种同步。那么内核是如何实现该机制的呢?Inode结点中包含一个数据项，叫做i_writecount,很明显是用于记录文件被写的个数的，用于同步的，其类型也是atomic_t...
Linux--写入文件
m0_60970579的博客
09-13 770
一.写入一个整数 具体操作： int fd; int data = 100; int data2 = 0; fd = open("./file1",O_RDWR); int n_write = write(fd,&data,sizeof(int)); lseek(fd,0,SEEK_SET); int n_read = read(fd,&data2,sizeof(int)); 运行显示： read: 100 文件（二进制）： d^@^@^@a^@^@^@e...
Linux文件写入操作
举子人间
03-21 2134
上一讲写到Linux环境下文件的创建，这讲承上启下 先看代码 #include <sys/types.h> #include <sys/stat.h> #include <unistd.h> #include<fcntl.h> #include<stdio.h> #include<string.h> int main() { int fd; char *buf="LLP IS MY WIEF!";.
Linux windows 文件同步
02-21
### Linux与Windows之间的文件同步：使用rsync工具 在跨平台的数据管理中，尤其是在Linux与Windows之间进行文件同步，rsync工具提供了强大的支持。本文将详细介绍如何通过rsync实现在Windows服务器(cwRsyncServer...
win+Linux文件定时同步.pdf
04-30
### Win+Linux 文件定时同步详解 #### 一、概述 本文档主要介绍如何在 Windows 和 Linux 两种操作系统之间实现文件的定时同步。具体而言，它提供了两种不同的方案：一种是基于 Linux 的 rsync 工具进行文件同步；...
linux ntp时间同步设置
08-23
### Linux NTP时间同步设置详解 #### 一、概述 在Linux系统中，时间的准确性对于许多服务至关重要，比如日志记录、定时任务等。为了确保时间的精确性，Linux通常采用NTP（Network Time Protocol）协议来进行时间...
linux2.6.1内核源码注释
03-10
Linux 2.6.11.12内核源码注释是一份极其珍贵的资料，它涵盖了Linux内核的多个关键组件，包括同步机制、信号处理、内存管理、进程调度、文件系统以及网络系统。这些是Linux内核运行的核心组成部分，对于理解Linux操作...
Linux复制写入命令.txt
07-11
服务器上复制写入命令，用于快速复制、剪切、传输文件。
Linux系统编程之线程同步
05-08
文件同步，是指让两个或多个文件夹里的文件保持一致。等等 而，编程中、通信中所说的同步与生活中大家印象中的同步概念略有差异。“同”字应是指协同、协助、互相配合。主旨在协同步调，按预定的先后次序运行。 ...
Linux——文件写入（write）操作
weixin_64805909的博客
11-21 2565
const void *buf:一个无类型指针作为写入的缓冲区。size_t count : 写入文件的大小。将缓冲区里面内容写入（大小为count）到fd中。int fd:描述符。
Linux下文件的写入操作
yanshimufeng的博客
03-29 3560
write 函数和close函数的使用 首先，我们还是来看Linux手册上的write函数，close函数 对于文件的操作最后一定要记住关闭文件，养成这样的习惯对于以后很有好处。 首先要准备一个文件，对吧，我们要往里面写点东西，就先决定为写“gao ying jie hen shuai”，（别问，问就是事实） 思路是什么呢，很容易，那就是打开文件，写入东西，关闭文件呗，对吧，开始编程。 简单的，定义一个字符串，指向它的指针作为write的第二个参数，strlen计算这个字符的长度 ，并且把write函数返
将java工程打包成exe文件
weixin_44594041的博客
12-21 313
文章目录一、将Java工程打包成jar包二、将.jar文件转化为.exe文件 一、将Java工程打包成jar包 1、若使用eclipse，则直接在项目处右键，export为Runnable JAR Files。 2、导出成功之后，可以先使用cmd进行测试一下 成功运行！ 二、将.jar文件转化为.exe文件 1、这里我们需要用到launch4j的工具 2、填写输出的exe文件位置，输入的jar，还有icon。这里的icon注意一下，可以考虑用格式工厂去转化，而不是直接改后缀。 3、可以考虑将jre复
Linux文件编程-写入文件
qq_45551969的博客
04-27 421
cat file:显示文件内容 Linux下指针变量占8个字节 strlen(),括号里面参数必须为字符指针 close(fd);关闭文件，fd相当于文件的索引
Linux向文件中写入内容
热门推荐
m0_71673753的博客
10-14 1万+
向Linux文件中写入内容
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值