34个ETL子系统-2:增量数据捕获系统

增量数据捕获系统,其目标是用来捕获源系统的变化。捕获数据变化的形式可以有很多种,典型的几种方式如下:

1、基于数据源的数据变化捕获

    1.1 时间戳   利用数据表的更新时间戳来实现,最好有两个时间戳。一个是数据生成时间(标记数据什么时间创建),一个更新时间戳(标记数据什么时间更新)

     1.2 自增序列。大多数数据库都有自增序列,如果数据表有这个序列,那就很容易识别出来新增的数据。

2、基于触发器的数据变化捕获

      当执行insert、update、delete时,可以激活相应的触发器,并执行动作。那就意味着可以利用触发器来捕获变化的数据,并将这些数据保存到临时表中。其他数据抽取程序从临时表获取记录。

3、基于快照的数据变化捕获

    当时间戳和触发器都不能使用时,那就可以用快照表了。首次使用时,将全量数据从源系统抽取过来,创建一个版本。第二次使用时,再从源系统抽取全部的数据,另放到一个临时表中,作为第二个版本。通过这两个版本的比较,找出增量变化。




  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值