数仓简介:ODS、DW和DM概念区分

读书笔记 专栏收录该内容
8 篇文章 0 订阅


一、数据仓库的ODS、DW和DM概念

表1 ODS、DW、DM的区分
概念
名词解释
特征
个人理解
ODS        ODS(Operational Data Store) 操作性数据,是作为数据库到数据仓库的一种过渡,ODS的数据结构一般与数据来源保持一致,便于减少ETL的工作复杂性,而且ODS的数据周期一般比较短。ODS的数据最终流入DW1.在业务系统和数据仓库之间形成一个隔离,ODS直接存放从业务系统抽取过来的数据,这些数据从结构和数据上与业务系统保持一致,降低了数据抽取的复杂性。
2.转移一部分业务系统的细节查询功能,因为ODS存放的数据与业务系统相同,原来由业务系统产生的报表,现在可以从ODS中产生了。
3.完成数据仓库中不能完成的功能。ODS存放的是明细数据,数据仓库DW或DM都存放的是汇聚数据,ODS提供查询明细功能。
4.ODS数据只能增加不能修改,而且数据都是自业务系统中原样拷贝而来,所以可能存在数据冲突的可能,解决办法是为每一条数据增加一个时间版本来区分相同的数据                                                                                                       
1.ODS提供了数据冗余备份,它的存在可以避免数据仓库直接调用业务系统的数据。
2.数据抽取到ODS中只需要将业务系统的数据原封不动的拷贝过去,可以忽略业务上的规则。
3.ODS就像一个无限大的容器,数据源源不断的写入进去,一经写入的数据就不能被改变,鉴于这些特性,ODS一般会考虑使用分布式文件存储系统。                                                                     
DW        DW (Data Warehouse)数据仓库,是数据的归宿,这里保持着所有的从ODS来的数据,并长期保存,且这些数据不会被修改。1.效率足够高,要对进入的数据快速处理。
2.数据质量高,数据仓库是提供很多决策需要的数据支撑,DW的数据应该是唯一的具有权威性的数据,企业的所有系统只能从DW取数据,所以需要定期对DW里面的数据进行质量检查,保证DW里边数据的唯一、权威和准确。
3.扩展性,企业业务扩展和降低企业建设数据仓库的成本考虑。
4.面向主题,数据仓库中的数据是按照一定的主题域进行组织的,每一个主题对应一个宏观的分析领域,数据仓库排除对决策无用的数据,提供特定主题的简明视图。
5.DW主要提供查询服务,并且需要查询能够及时响应。
6.DW的数据也是只允许增加不允许删除和修改,数据仓库主要是提供查询服务,删除和修改在分布式系统中会消耗大量的性能资源。
1.企业的系统只能使用从DW提供的被认可的数据,所以预先做好企业的元数据建立非常必要。
2.DW的设计基于一个个的事实表,倾向于关系型数据库的架构设计,但当数据量过于庞大时,关系型数据库的架构不再适用
DM        DM(Data Mart) 数据集市,为了特定的应用目的或应用范围,而从数据仓库中独立出来的一部分数据,也可称为部门数据或主题数据(subject area)1.DM结构清晰,针对性强,扩展性好,因为DM仅仅是针对一个领域而建立,容易维护修改
2.DM建设任务繁重,公司有众多业务,每个业务需单独建表。
3.DM的建立更多地消耗存储空间,单独一个DM可能数据量不大,但是企业所有领域都建立DM,这个数据量就会增加多倍。
1. 在实施不同的数据集市时,同一含义的字段定义一定要相容,这样在以后实施数据仓库时才不会造成大麻烦。
2.数据集市是以某个业务应用为出发点而建设的局部DW,只关心自己需要的数据,不会全盘考虑企业整体的数据架构和应用,每个应用有自己的DM
3.DM可以以不同形式存在,不一定要是数据产品,甚至可以是一个excel。DM直接从DW中取数,DM本身不做数据库的架构设计

二、数据中心整体架构

数据仓库的整理架构,各个系统的元数据通过ETL同步到操作性数据仓库ODS中,对ODS数据进行面向主题域建模形成DW(数据仓库),DM是针对某一个业务领域建立模型,具体用户(决策层)查看DM生成的报表。
数据中心整体架构

图1 数据中心整体架构

三、ODS、DW、DM协作层次图

协作层次

图2 协作层次

四、通过一个简单例子看这几层的协作关系

在这里插入图片描述

图3 示例

五、ODS到DW的集成示例

集成示例

图4 集成示例
  • 1
    点赞
  • 0
    评论
  • 2
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 1024 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值