为什么数据库会丢失数据？今天我就来跟你掰扯掰扯

最新推荐文章于 2024-08-22 17:13:28 发布

2401_85117765

最新推荐文章于 2024-08-22 17:13:28 发布

阅读量712

点赞数 25

文章标签：数据库

本文链接：https://blog.csdn.net/2401_85117765/article/details/139846393

版权

人为错误是造成数据丢失的首要原因。在腾讯云数据丢失事故中，我们会发现，虽然事故的起因是硬件故障，但是最终导致数据完整性受损的还是运维人员的不当操作：

第一是正常数据搬迁流程默认开启数据校验，开启之后可以有效发现并规避源端数据异常，保障搬迁数据正确性，但是运维人员为了加速完成搬迁任务，违规关闭了数据校验；

第二是正常数据搬迁完成之后，源仓库数据应保留24小时，用于搬迁异常情况下的数据恢复，但是运维人员为了尽快降低仓库使用率，违规对源仓库进行了数据回收。

减少人为错误的最好方式是将数据的备份和运维等操作标准化，使用自动化的流程处理涉及数据安全的操作，这样才能降低人为干预带来的风险。

对于软件工程师来说，我们应该敬畏生产环境，谨慎地在生产环境执行一切操作，认识到所有的操作都可能对线上正在运行的服务产生影响，这样才能降低类似问题发生的概率。

硬件错误

任何一个线上的服务能够正常运行都是极其偶然的，只要时间拉的足够长，我们就没有办法保证服务 100% 的可用性[^4]。

磁盘等硬件如果使用的时间足够长，很有可能会发生损坏，根据 Google 论文中的数据，5 年内硬盘的年平均故障率（Annualized Failure Rates，AFR）为 8.6%[^5]。

2018 年，腾讯云数据损坏事故的起因就是磁盘静默错误（Silent data corruption）[^6]导致的单副本数据错误。磁盘静默错误是没有被磁盘固件或者宿主操作系统发现的错误，包括以下情况：电缆松了、电源供给不可靠、外部震动、网络引起的数据丢失等问题。

正是因为磁盘的数据损坏非常常见，所以我们需要数据冗余的方式保证磁盘在发生不可修复读错误（Unrecoverable Read Error）时能够恢复磁盘数据。

独立冗余磁盘阵列（Redundant Array of Independent Disks，RAID）是一种能够将多个物理磁盘组合成一个逻辑磁盘的数据存储虚拟化技术，它能够增加数据冗余并提高性能[^7]。

raid-strategy

RAID 主要使用分割（Striping）、镜像（Mirroring）和奇偶校验（Parity）三大策略管理磁盘中的数据，我们这里举几个简单的例子：

RAID 0 使用了数据分割技术，但是没有镜像和奇偶校验。它对磁盘上的数据几乎不进行任何的保护，任意一块磁盘磁盘损坏都意味着其中的数据无法恢复，但是因为不存在冗余，所以它也会提供较好的性能；
RAID 1 使用了数据镜像的功能，但是没有奇偶校验和数据分割。所有的数据都会写入两个相同的磁盘，两个磁盘都能对外提供数据读取的服务。这种方式降低了磁盘的使用率，但是能够提高读取性能并提供备份；
…

RAID 使用的分割和镜像策略与分布式数据库中的分片（Partition）和副本（Replication）比较相似，分割和分片将数据切分后分配到不同的磁盘或者机器，而镜像和副本的作用都是复制数据。

很多现代的操作系统都会提供基于软件的 RAID 实现，一些云服务厂商也会使用自研的文件系统或者冗余备份机制：

Google 使用 Google 文件系统管理文件，它以块的方式存储文件并且通过主服务管理所有的文件块[^8]；
Microsoft 在 Azure 中使用擦除编码的方式计算冗余数据[^9]；

硬件错误在生产环境中很常见，我们只有通过数据冗余和校验才能降低数据丢失的可能性，但是增加冗余的方式也只能不断降低数据丢失的概率，不能 100% 的避免。

实现复杂

数据库管理系统最终会将数据存储在磁盘上，对于很多数据库来说，数据落到磁盘上就意味着持久化完成了。磁盘作为数据库系统的下层，磁盘能够稳定存储数据是数据库能够持久化数据的基础。

database-and-disk

很多人都误认为使用 write 就能将数据写入到磁盘上，然而这是错误的。函数 write 不仅不能保证数据写入磁盘，有的实现甚至都不能保证目标空间保留给了写入的数据[^10]。

一般情况下，对文件的 write 只会更新内存中的页缓存，这些页缓存不会立刻刷入磁盘，操作系统的 flusher 内核线程会在满足以下条件时将数据落盘[^11]：

空闲内存下降到了特定的阈值，需要释放脏页占用的内存空间；
脏数据持续了一定时间，最老的数据就会被写入磁盘；
用户进程执行 sync 或者 fsync 系统调用；

如果我们想要将数据立刻刷入磁盘，就需要在执行 write 后立刻调用 fsync 等函数[^12]，当 fsync 等函数返回后，数据库才会通知调用方数据已经成功写入。

write-and-fsyn

write 和 fsync 在数据库管理系统中非常重要，它们是提供持久性保证的核心方法，一些开发者对 write 的理解错误写出错误的代码就会导致数据丢失。

除了持久化的特性之外，数据库可能还需要提供 ACID（Atomicity, Consistency, Isolation, Durability）或者 BASE（Basically Available, Soft state, Eventual consistency）的保证，有些数据库还会提供分片、副本以及分布式事务等复杂功能，这些功能的引入也增加了数据库系统的复杂性，而随着程序复杂性的增加，出现问题的可能性也随之增长。