获取数据库增量数据的几种方式

原创 2012年03月30日 10:20:58
a.触发器:在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。触发器方式的优点是数据抽取的性能较高,缺点是要求业务表建立触发器,对业务系统有一定的影响。 

        b.时间戳:它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,系统中更新修改表数据的时候,同时修改时间戳字段的值。当进行数据抽取时,通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新,即表的其它字段的数据发生改变时,自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新,这就要求业务系统在更新业务数据时,手工更新时间戳字段。同触发器方式一样,时间戳方式的性能也比较好,数据抽取相对清楚简单,但对业务系统也有很大的倾入性(加入额外的时间戳字段),特别是对不支持时间戳的自动更新的数据库,还要求业务系统进行额外的更新时间戳操作。另外,无法捕获对时间戳以前数据的delete和update操作,在数据准确性上受到了一定的限制。 

    c.全表比对:典型的全表比对的方式是采用MD5校验码。ETL工具事先为要抽取的表建立一个结构类似的MD5临时表,该临时表记录源表主键以及根据所有字段的数据计算出来的MD5校验码。每次进行数据抽取时,对源表和MD5临时表进行MD5校验码的比对,从而决定源表中的数据是新增、修改还是删除,同时更新MD5校验码。MD5方式的优点是对源系统的倾入性较小(仅需要建立一个MD5临时表),但缺点也是显而易见的,与触发器和时间戳方式中的主动通知不同,MD5方式是被动的进行全表数据的比对,性能较差。当表中没有主键或唯一列且含有重复记录时,MD5方式的准确性较差。 


d.日志对比:通过分析数据库自身的日志来判断变化的数据。

怎么查询数据库每天的数据增量和访问量?

今天有人问了这样一个问题:“怎么查询数据库每天的数据增量和访问量?”。 这个问题作为开发人员的我自然不会啦,不过对数据库方面的东西,我还是很感兴趣的,后面自己去网上查了下资料,也没有自己想要的,也去...

oracle 增量抽取数据存储过程

抽取日志表 create table ETL_LOG_DRAGON_ALERT ( tablename VARCHAR2(50), etlbegintime DATE, etlen...

Oracle BI基础之ETL数据增量抽取方案

一篇好文见百度文库: ETL数据增量抽取方案 一、 ETL 简介 数据集成是把不同来源、格式和特点的数据在逻辑上或物理上有机地集中,从而提供全面的数据共享,是企业商务智能、数据仓库系统的重...

如何增量导入MYSQL数据库中的数据

大数据量同步方案之全量同步改为增量同步解决方案

在一些大数据运用场景中,由于上游数据每天都在变化着,在需要用这些数据的下游系统需要每天刷新这些变化的数据,当数据量小时候,简单粗暴的方式就是每次全量更新数据,但随着业务的增长,数据量成几何方式增长时(...

开源ETL工具kettle系列之增量更新设计

前言ETL中增量更新是一个比较依赖与工具和设计方法的过程,Kettle中主要提供Insert / Update 步骤,Delete 步骤和Database Lookup 步骤来支持增量更新,增量更新的...

数据仓库增量数据获取方法谈

我们通常所说的增量数据,其实更确切的说,应该是变量数据,包括对数据的增加、修改和删除。特别是当有些系统存在物理删除数据的情况时,这一点尤为重要。     从各源系统获取增量数据,是DW/BI类相...

使用SyncNavigator轻松实现数据库异地同步、断点续传、异构同步

最近一直在研究数据库同步的问题,在网上查了很多资料,也请教了很多人,找到了一种通过快照复制的方法。研究了一番后发现之前就是用的这个方法,效果不是很好,果断放弃。经过了一番寻觅和他人指点,最后从一位热心...

数据库增量数据采集(Change Data Capture)概略

数据采集通常是指ETL过程中Extract-数据抽取部分。除了ETL外在不同应用系统之间通常也需要传递数据,在某些环境条件限制下不能将数据从一个系统直接移到另一个系统,只能借助文本来作为中间媒介传递数...

java synchronized的理解以及内置锁和对象锁

在java编程中,经常需要用到同步,而用得最多的也许是synchronized关键字了,下面看看这个关键字的用法。 因为synchronized关键字涉及到锁的概念,所以先来了解一些相关的锁知识。j...
  • mrsbai
  • mrsbai
  • 2016年02月03日 11:25
  • 2744
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:获取数据库增量数据的几种方式
举报原因:
原因补充:

(最多只允许输入30个字)