对于不支持增量或不好实现增量的数据源,增量的支持方法

数据源:使用带选择条件的完全抽取信息包,通过写例程的方法实现:每一次定期抽取之前N个月的数据(前提是必须保证不去修改N之前月的数据)到PSA中。

DSO:DTP到DSO中,转换规则选择覆盖,数据激活到ACTIVE DATA表时,如果这几个月的数据没有变化,则新数据全部覆盖旧数据(其实DSO中保存的数据是没变化的);如果有变化,则变化的部分会根据相同主键覆盖的原则覆盖掉原来的部分,没变的会保留。这时候变化的那部分数据会写入CHANG LOG(更改日志)。

CUBE:DSO中的数据DTP到CUBE中,DTP使用增量,“增量初始化提取自”要选择“更改日志”,这时候不同请求包抽取上来的增量数据会写入CUBE中储存。

这种不支持增量的数据源利用DSO的更改日志实现增量的方法,我们称之为“假增量”。

特点:以比较小的抽取时间(每天只抽取最近N个月,N尽量小的数据),就能避免使用全量抽取大数据的麻烦,换来增量抽取的优点(抽取层抽取数据量小、时间短,每次传到CUBE中的数据也只有增量部分)。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值