ssis 抽取mysql 实验_SQLSERVER 中利用SSIS增量提取数据的解决方案

目前的问题:

数据库A中有一批表(A1,A2,A3.......),现在需要将其转移到数据库B中,由于A库中 表的数据在不停的增加,现在想做增量将A库中的数据导入到B库中,就需要判断哪些数据时新增的,目前想到的解决方法有一下三种:

1、直接在数据库A的表中增加一个标记字段,如果已经转移了的数据就标记一下,由于A库中表的数据量很大(至少千万级以上),这种更新会很慢,效率太低

2、根据数据库中的时间字段来查找,按时间戳来判断哪些数据已经被转移,但是这种数据过程如果遇到表中没有时间字段的表,就需要人为加一个时间字段,另外还要添加一个起止时间的维护表,记录哪次取了哪个时间区间的数据

3、利用SQLSERVER2008企业版中的CDC功能将变更的数据存在cdc创建的中间表,然后从这个表中去取增量数据,虽然依然是要时间段来取,但是它会自动保存上一次取之后的最大序号

目前来说,最好的方法好像是第三种,利用SQLSERVER2008企业版中的CDC功能,但是企业版太贵啊,有没有sqlserver标准版就能解决此问题的方法,请各位指教,谢谢

Hi flymolgee,如果你用ssis来导增量的话,那么你可以为原表加个rowversion类型的列,根据它来做数据同步。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值