获取数据库增量数据的几种方式

原创 2012年03月30日 10:20:58
a.触发器:在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高,缺点是要求业务表建立触发器,对业务系统有一定的影响。 

        b.时间戳:它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,系统中更新修改表数据的时候,同时修改时间戳字段的值。当进行数据抽取时,通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新,即表的其它字段的数据发生改变时,自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新,这就要求业务系统在更新业务数据时,手工更新时间戳字段。同触发器方式一样,时间戳方式的性能也比较好,数据抽取相对清楚简单,但对业务系统也有很大的倾入性(加入额外的时间戳字段),特别是对不支持时间戳的自动更新的数据库,还要求业务系统进行额外的更新时间戳操作。另外,无法捕获对时间戳以前数据的delete和update操作,在数据准确性上受到了一定的限制。 

    c.全表比对:典型的全表比对的方式是采用MD5校验码。ETL工具事先为要抽取的表建立一个结构类似的MD5临时表,该临时表记录源表主键以及根据所有字段的数据计算出来的MD5校验码。每次进行数据抽取时,对源表和MD5临时表进行MD5校验码的比对,从而决定源表中的数据是新增、修改还是删除,同时更新MD5校验码。MD5方式的优点是对源系统的倾入性较小(仅需要建立一个MD5临时表),但缺点也是显而易见的,与触发器和时间戳方式中的主动通知不同,MD5方式是被动的进行全表数据的比对,性能较差。当表中没有主键或唯一列且含有重复记录时,MD5方式的准确性较差。 


d.日志对比:通过分析数据库自身的日志来判断变化的数据。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

基于数据库增量日志解析 canal

基于数据库增量日志解析,提供增量数据订阅&消费,目前主要支持了mysql 工作原理 原理相对比较简单: canal模拟mysql slave的交互协议,伪装自己为mysql slave,...

数据库中使用自增量字段与Guid字段主键对比

1.概述     在我们设计数据库时,数据库的表主键是必不可少的,主键的设计对整个数据库的设计影响很大。主键的设计主要有使用自动增长字段和使用Guid字段两种,上网搜了一些内容就对自动增量字...

SQLServer数据库同步准实时方案

1. 需求    1)如何将在线运营的SQLServer数据库数据及时同步到另外一个SQLServer数据库。    2)数据仓库系统的数据抽取会对源系统造成巨大压力,严重影响性能和响应速度。如何将生...

获取SqlServer数据库数据,转成JSON对象

研究了很多天,终于能够把数据库获取的数据成功转换成

SqlServer实时数据同步到MySql

---安装安装mysqlconnector http://www.mysql.com/products/connector/ /* 配置mysqlconnector ODBC数据管理器->系统DS...

【SQL Server高可用性】数据库复制:SQL Server 2008R2中通过数据库复制,把A表的数据复制到B表

经常在论坛中看到有人问数据同步的技术,如果只是同步少量的表,那么可以考虑使用链接服务器+触发器,来实现数据同步,但当要同步的数据表比较多,那么可以考虑用数据库复制技术,来实现数据的同步。 下面的环...

关于数据库设计时的自动增量字段的问题

自动增量不能作为主键(需要被其它表作为外键的主键),主要原因是: 1、当需要进行事务插入时,会有矛盾。如:Order(OrderID, OrderName)与OrderDetail(OrderI...
  • cann
  • cann
  • 2016-12-07 17:54
  • 630

数据库增量同步(二台SQL Server服务器的数据库之间增量传输数据)(jaime原创)

数据库增量同步(MS SQL Server)-------------------------------------------------------------------------支持原创,...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)