【数据仓库】变化数据捕获(CDC)技术分类优劣与适用场景

实时主动数据仓库中的变化数据捕捉(CDC)方法差异性对比以及适用场景:

变化数据捕捉方法对比
CDC方法是否支持实时变化数据捕捉适用场合优点缺点
基于表记录的方法记录所有变化有必要对数据源中发生的所有变化进行记录

所有变化;加快数据抽取速度

额外负担;存储开销

记录最后变化(时间戳)只需要记录最后一次变化相对上一个方法,减小了负担和空间开销新字段会增加存储开销;删除操作必须时逻辑的
混合式有必要对所有更新操作记录,只需对最后一次插入和删除操作进行记录相对上两个,减小了负担和存储开销更新操作时有1的缺点,插入删除操作时有2的缺点
复制事务复制数据源和目标DBMS相同或者存在支持异构复制的第三方工具保存副本;独立性;加速抽取源与目标必须相同;存储需求;需要DBA控制和管理在复制过程中可能出现的冲突
快照复制
触发器DBMS具有针对插入、更新和阐述的触发器,源与目标DBMS相同加速数据抽取对操作系统有较大负担;降低数据库性能
数据库快照比较基于批量拷贝数据源DBMS不支持触发器/没有事务日志记录/无法解析日志记录操作系统没有额外负担;加速数据抽取无法获得所有变化
基于快照复制源与目标要相同;无法获得所有变化;复制过程可能出现冲突
基于日志的变化数据捕捉对所有变化进行记录,具备事务日志控制机制,可以解析事务日志操作系统没有额外负担;减小了存储和处理开销;加速了数据抽取DBA必须控制事务日志记录区域的尺寸;需要额外的日志级别
刷新表重新建设实时仓库时不需要在数据源执行任何数据变化捕捉耗费大量时间;无法记录过程变化;丢失仓库的历史信息

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

随处可见的打字员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值