每日数据增量抽取问题讨论

每日数据增量抽取问题讨论[@more@]咨询各位高人.

目前状况是 我单位每天都要产生 一个单品资料的基础表,

是所有单品,大约5万条数据

,但是每天这个表都有多少改变,比如:有些单品更新,有一些删除掉

了.这个表每天都是通过unix上系统上下载下来.

这个表是个基础表,每天所有的交易,都是在这个表基础上的.

我已经把它导入到oracle中,但是,如果每天都在oracle中全表导入一个的话,数据量有点大了.

我想问,能不能做到这样:
每天,增量导入(增加的数据导入oralce,删除了的数据就把oracle中的
对应表中单品删除,有更新的就更新).然后做了修改的数据建立一个备份的表,只存取有改动数据.

如果用vb写程序是可以做到,但是确实太麻烦了.
oracle数据库有没有这种etl的功能或者方法?

merge into 可以实现更新和增量插入,但是,删除了的数据怎么办呢?
如果将来,要查询历史销售的时候,需要历史的单品资料做关联.
请问有没有好的解决办法呢?

请达人教导一下.或者大家有什么想法可以讨论下.

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/19622/viewspace-890087/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/19622/viewspace-890087/