数据仓库分层

数据仓库通过ODS、DW、DM、APP四层结构实现数据清晰化管理。ODS保留原始数据,DW进行主题建模,DM面向业务生成报表,APP提供高度汇总数据。维度表与事实表共同构建数据模型,提升分析效率。ODS与DW在数据当前性、更新、汇总性等方面存在显著差异。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  在做像pv、cv类型的分析,往往借助于一张大宽表和几张维度表,所有的统计分析都基于这张大宽表与维度表。在这种简单的应用场景,这种设计没有问题且简单明了,但是如果业务场景复杂,数据种类多,维度多,那么数据仓库的设计就尤为重要,结构清晰明了的数据仓库设计将方便对问题数据进行排查。数据分层的好处:
 清晰数据结构、减少重复开发、数据血缘追踪、把复杂问题简单化、屏蔽原始数据的异常、屏蔽业务的影响,不必改一次业务就需要重新接入数据

数据仓库可分为三层:ODS层、DW层、APP层。
在这里插入图片描述

数据运营层:ODS(Operational Data Store)

  “面向主题的”数据运营层,也叫ODS层,是最接近数据源中数据的一层,数据源中的数据,经过抽取、洗净、传输,即 ETL 之后,装入本层。本层的数据,总体上大多是按照源头业务系统的分类方式而分类的。
  一般来讲,为了考虑后续可能需要追溯数据问题,因此对于这一层就不建议做过多的数据清洗工作,原封不动地接入原始数据即可,至于数据的去噪、去重、异常值处理等过程可以放在后面的DWD层来做。

数据仓库层:DW(Data Warehouse)

  数据仓库层从 ODS 层中获得的数据按照主题建立各种数据模型。DW层又细分为 DWD

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值