数据仓库ODS、DW和DM概念 - 1

1. 数据仓库分层 
ODS——操作性数据
DW——数据仓库
DM——数据集市

ods接口层采集数据的
dw 数据仓库将接口采集的数据沉淀下来的
dm 数据集市将数据仓库中的数据经过加工而来

2. 整体架构 
各交易数据库 -> ETL -> ODS -> DW -> 多个DM 

各个系统通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主体域建模形成DW, DM是针对
某一个业务领域建立模型,具体用户(一般为决策层)查看DM生成的报表。 

3. ODS,DW,DM概念 

3.1  ODS 

ODS - Operational Data Store,是数据仓库体系结构中的一个可选部分。也叫做临时存储层。 
它是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。

时效:实时或准实时 

ODS应用场景 

A. 在业务系统和数据仓库之间形成一个隔离层,ODS直接存放从各个业务系统抽取过来的数据,
这些数据从结构和数据逻辑关系上和业务系统保持一致,降低了数据抽取的复杂性。它的存在
可以避免数据仓库直接调用业务系统的数据。 
B. 转移一部分业务系统细节查询的功能。因ODS存放的数据与业务系统相同,原来由业务系统
产生的报表,现在可以从ODS中产生了。 
C. 完成数据仓库中不能完成的一些功能。ODS存放的是明细数据,数据仓库或DM存放的是汇聚
数据,ODS可提供查询明细的功能。 

数据源源不断写入到ODS, 一经写入的数据就不能被更改,鉴于这些特性,ODS一般会考虑使用
分布式文件存储系统。 ODS数据只能增加不能修改,数据是业务系统的原样拷贝,可能存在数据
冲突的可能,解决方式是为每一条数据增加一个时间版本来区分相同的数据。 

OLTP DB保留的是数据信息的最新状态,只有一个状态。ODS支持OLTP类型的数据更新,数据更
新时间短,数据可实现准实时更新,性能与及时性都高于EDW 。ODS层的数据粒度是最细的,它
的历史数据一般保存3-6个月,以节省空间。如果量不大,有些可以保存更长时间。

客户等关键实体数据。ODS长久保存当前数据,EDW长久保存当前与历史数据。
详单数据。ODS保存1个月到3个月;EDW保存2年。
汇总数据。ODS保存3年;EDW保存5年。
其他数据。ODS保存13个月;EDW保存3年。

ODS主要面向营业、渠道等一线生产人员和一线管理人员,为了实现准实时、跨系统的运营细节
数据的查询,以获得细粒度的运营数据展现,例如渠道人员查询客户的全视图信息由ODS提供数
据支撑。ODS中也存在部分粗粒度汇总数据,但汇总的维度少且简单。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/35489/viewspace-2155540/,如需转载,请注明出处,否则将追究法律责任。

转载于:http://blog.itpub.net/35489/viewspace-2155540/

  • 1
    点赞
  • 0
    评论
  • 1
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

表情包
插入表情
评论将由博主筛选后显示,对所有人可见 | 还能输入1000个字符
©️2021 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值