ODS设计思路-ODS到DW同步

转载自 http://blog.itpub.net/10009036/viewspace-1061623/

ODS作为DW和业务系统的中间数据层，保留了两者的部分特性，在基本数据上，继承了业务系统的数据形式和组织结构，但出于查询和分析的需求，也可以进行部分粗粒度的汇总，提供部分维度。

ODS与DW对比特点：

ODS作为DW的数据源，可以根据设计需要，保留近两个月（自然月，或者长至一年）的原始数据，定期删除超出期限的数据。ODS也可以根据DW的特征进行SBA（业务特征区）层和LAM（轻度汇总层）层设计，进行维度标准化和简单汇总处理，这写SBA层和LAM层的数据保留期限可以设置为几天之内，当然，最大限度保留的话，可以保留近两个月（参考之前设计）的SBA和LAM数据。

ODS是当前的、不断变化的数据，而DW保留的是历史的、不再变化的数据，所以一般来说会落后ODS一天或一天以上的数据。ODS按分钟级别捕捉生产系统的数据变化，然后可以每天将归档后的数据加载到DW中，归档的标记为这条记录是否已完成。

ODS的基本表（除汇总表）应记录业务字段的hash值，并设置拉链算法所需的start_date和end_date。业务源数据变化时，根据rowid或其他方法，找到旧记录进行分裂，并插入新数据和新的hash值，start_date和end_date。如果ODS中有轻度汇总表，那么对end_date变为sysdate当天的记录，所涉及的汇总记录，必须重算。

注：ODS中是否进行记录分裂，要看这条记录之前是否以归档，如果已归档，那么进行分裂，未归档则不必分裂，更新记录和hash值即可。

DW中，也应记录ODS到DW时的hash值、start_date和end_date，当ODS和DW再次同步时，根据旧hash值，分裂DW中的老记录，然后同步新记录。如果DW中有汇总表，那么对end_date变为sysdate当天的记录，所涉及的汇总记录，必须重算。

如果源系统修改了2个月之前的数据，ODS中没有相关的数据记录（已删除，ODS只保留2个月），那么ODS无法分裂，DW中也是同样的情况。

解决办法是，在ODS和DW基础表中保留rowid或同类字段，对时间超出ODS的记录按rowid查找DW进行分裂，但rowid可能根据表格move或压缩变化。

或者在出现2个月之前的数据修改时，手动处理。