数据库迁移的几个概念

增量校验和全量校验是两种不同的数据校验方式,它们之间的区别如下:

一、定义

  1. 增量校验

这种校验方式只对数据集中新增或者修改的部分进行校验。它通常基于某种时间戳、版本号或者其他标识来确定哪些数据是需要校验的。例如,在一个数据库系统中,可以利用更新时间字段来标记最近被更新的记录,并且只对这些记录进行校验。

  1. 全量校验

是指对数据集中的所有记录进行完整的校验。这不考虑数据是否被修改,而是检查整个数据集的完整性、正确性等。例如,审计过程中对一个财务数据系统进行全面的数据一致性检查,就需要对所有账目记录进行全量校验。

二、校验粒度

  1. 增量校验

校验的粒度相对较小,因为它只针对特定的部分数据。这可以减少校验的工作量和时间成本。例如,在一个包含大量用户信息的数据库中,每次只校验新增用户或者用户信息被修改的部分,而不是全部用户数据。

  1. 全量校验

校验的粒度是整个数据集,没有例外。无论数据的大小和更新状态如何,都会进行全面的检查。例如,对一个电商系统的库存数据进行全量校验,会涉及到所有的商品库存记录。

四、适用场景

增量校验

适用于数据更新频率低或者需要频繁校验特定部分数据的场景。例如,在一个新闻网站的内容管理系统中,新闻内容会不断更新,但大部分历史新闻数据很少变动。此时,可以对新增的新闻内容或被编辑的新闻内容进行增量校验,以确保及时发现和纠正问题。

全量校验

适用于数据更新不频繁,但对数据的完整性要求非常高的场景。例如,在一些金融机构的结算系统中,数据的准确性至关重要,定期(如每月一次)对所有的交易记录和账户余额进行全量校验,以防止任何数据错误或遗漏。

软删除(Soft Delete)

又称为逻辑删除,它并不是真正地将数据从存储设备上清除。而是通过在数据记录中设置一个标志
位(如 “is_deleted” 字段),来标记该数据为已删除状态。例如,在数据库中,当执行软删除操作时,只是将对应记录的 “is_deleted” 字段值从 “0”(未删除)改为 “1”(已删除),数据本身仍然保留在数据库表中。

硬删除(Hard Delete)
是指彻底地将数据从存储设备上删除,数据在文件系统或数据库中所占用的空间会被释放。以文件系统为例,当执行硬删除操作时,操作系统会将文件在文件分配表(FAT)或类似的文件索引结构中的记录删除,数据所在的磁盘扇区被标记为可用空间,数据本身不再存在。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值