关于Linux执行文件操作,断电后数据丢失问题

31 篇文章 2 订阅
4 篇文章 1 订阅

前言

  在Debian下,批量执行cp命令后,机子立马断电(arm板),开机后发现文件大小都变为了0。但如果是过一会儿再断电,文件大小就正常。神奇的地方就在这边,我cp的文件里头有可执行文件,cp执行完是可以启动的,断电后反而打不开了,所以这个问题困扰了我很久。

原因

  linux这边读写文件都是优先在cache里面的,也就是cache/buffer的机制。当回写进程触发,或者脏数据超时(简单来说就是满足条件触发回写),缓存才会开始把数据写到IO。也就是说执行完cp后,如果有空闲的内存,那么就会默认写到内存里头,如果断电时候,回写没有触发,数据就全部丢失了。

解决方法

一、
  执行完cp后,调用sync命令。但是sync也只是告诉系统要开始写IO而已,实际还是异步,所以还是得等。所以可以调用sync后,执行sleep,不过sleep的度不好把控,要根据实际情况自己推算。
  如果是大文件的话,可以大文件拆分来写,但也只能解决燃眉之急,如果是arm这种随时断电的机子,还是没法解决。

二、
  linux后台有守护进程每隔一段时间执行一次sync,那么可以修改或者说缩短sync时间,通过多写来确保数据安全。或者也可以减小cache,让sync的条件更容易触发,来解决这个问题。两个本质上都是提高系统从cache到IO的频率。(第二点瞎掰的,应该要改内核)

三、
  个人比较倾向这种。通过fflush和fsync来实现。

Created with Raphaël 2.3.0 打开文件 write执行写文件 fflush刷新到cache fsync刷新到IO 结束

因为fsync是同步的,会等到写磁盘成功才返回。但是这样的话,时间的损耗就比较大。不过要像马儿跑得快,又不给马儿吃草是不存在的。

结束

上面一、三点在我看来是可行的,目前自己做法采取了第一种(懒得写太多东西)。若文章有错误,或者有更好的方式实现,欢迎评论指出。
在这里插入图片描述

后续

2023年5月23日更新

  无意间看到自己当初写的文章,觉得还有点不足,这里补充下:

  • 这种很随机的断电操作其实是很致命的,你无法保证关机的时候IO已经结束,个人认为硬件方面加个断电保护才是最可靠有效的。
  • 如果没做断电保护,可以每次写的时候先写一次备份,备份写完再COPY到主文件。这样就算断电数据丢失,也能保证主文件和备份至少有一个数据是完整的(只是不能保证数据一定是最新的)。在业务允许的情况下(允许数据不一定要最新),这个方法我觉得反而是最简单有效的。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值