数据仓库ODS、DW和DM概念 - 1

1. 数据仓库分层 
ODS——操作性数据
DW——数据仓库
DM——数据集市

ods接口层采集数据的
dw 数据仓库将接口采集的数据沉淀下来的
dm 数据集市将数据仓库中的数据经过加工而来

2. 整体架构 
各交易数据库 -> ETL -> ODS -> DW -> 多个DM 

各个系统通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主体域建模形成DW, DM是针对
某一个业务领域建立模型，具体用户(一般为决策层)查看DM生成的报表。 

3. ODS,DW,DM概念 

3.1  ODS 

ODS - Operational Data Store，是数据仓库体系结构中的一个可选部分。也叫做临时存储层。 
它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。

时效：实时或准实时 

ODS应用场景 

A. 在业务系统和数据仓库之间形成一个隔离层，ODS直接存放从各个业务系统抽取过来的数据，
这些数据从结构和数据逻辑关系上和业务系统保持一致，降低了数据抽取的复杂性。它的存在
可以避免数据仓库直接调用业务系统的数据。 
B. 转移一部分业务系统细节查询的功能。因ODS存放的数据与业务系统相同，原来由业务系统
产生的报表，现在可以从ODS中产生了。 
C. 完成数据仓库中不能完成的一些功能。ODS存放的是明细数据，数据仓库或DM存放的是汇聚
数据，ODS可提供查询明细的功能。 

数据源源不断写入到ODS, 一经写入的数据就不能被更改，鉴于这些特性，ODS一般会考虑使用
分布式文件存储系统。 ODS数据只能增加不能修改，数据是业务系统的原样拷贝，可能存在数据
冲突的可能，解决方式是为每一条数据增加一个时间版本来区分相同的数据。 

OLTP DB保留的是数据信息的最新状态，只有一个状态。ODS支持OLTP类型的数据更新，数据更
新时间短，数据可实现准实时更新，性能与及时性都高于EDW 。ODS层的数据粒度是最细的，它
的历史数据一般保存3-6个月，以节省空间。如果量不大，有些可以保存更长时间。

客户等关键实体数据。ODS长久保存当前数据，EDW长久保存当前与历史数据。
详单数据。ODS保存1个月到3个月；EDW保存2年。
汇总数据。ODS保存3年；EDW保存5年。
其他数据。ODS保存13个月；EDW保存3年。

ODS主要面向营业、渠道等一线生产人员和一线管理人员，为了实现准实时、跨系统的运营细节
数据的查询，以获得细粒度的运营数据展现，例如渠道人员查询客户的全视图信息由ODS提供数
据支撑。ODS中也存在部分粗粒度汇总数据，但汇总的维度少且简单。

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/35489/viewspace-2155540/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/35489/viewspace-2155540/