数据仓库各层到底在做什么?(ODS,DWD,DWM,DWS,ADS)

源数据层(ODS)

此层数据无任何更改,直接沿用外围系统数据结构和数据,不对外开放;为临时存储层,是接口数据的临时存储区域,为后一步的数据处理做准备。
(不需要修改的数据)

数据仓库层(DW)

DW 层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。

DWD明细层

存储明细数据,此数据是最细粒度的事实数据。该层一般保持和ODS层一样的数据粒度,并且提供一定的数据质量保证。同时,为了提高数据明细层的易用性,该层会采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联。我们在做这一步时可以先确定我们的业务主题,根据主题搭建这一层的表。

DWM 中间层

存储中间数据,为数据统计需要创建的中间表数据,此数据一般是对多个维度的聚合数据,此层数据通常来源于DWD层的数据。

DWS 业务层

存储宽表数据,此层数据是针对某个业务领域的聚合数据,应用层的数据通常来源与此层,为什么叫宽表,主要是为了应用层的需要在这一层将业务相关的所有数据统一汇集起来进行存储,方便业务层获取。此层数据通常来源与DWD和DWM层的数据。

在实际计算中,如果直接从DWD或者ODS计算出宽表的统计指标,会存在计算量太大并且维度太少的问题,因此一般的做法是,在DWM层先计算出多个小的中间表,然后再拼接成一张DWS的宽表。由于宽和窄的界限不易界定,也可以去掉DWM这一层,只留DWS层,将所有的数据在放在DWS亦可。

数据应用层(ADS或DA或APP)

前端应用直接读取的数据源;根据报表、专题分析的需求而计算生成的数据。

维表层(DIM)

维表层,维表层主要包含两部分数据:

  1. 高基数维度数据:一般是用户资料表、商品资料表类似的资料表。数据量可能是千万级或者上亿级别。
  2. 低基数维度数据:一般是配置表,比如枚举值对应的中文含义,或者日期维表。数据量可能是个位数或者几千几万。
  • 1
    点赞
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数据仓库中,ODSDWDDWS、DM、DIM、DWMADS都是一些常见的术语缩写,它们是数据仓库的不同层次或模块,具体含义如下: 1. ODS(Operational Data Store):操作型数据存储层。ODS数据仓库中的第一层,用于存储从各个业务系统中提取的源数据,该层的数据结构、粒度和格式都与源系统保持一致,是数据仓库中数据处理的第一步。 2. DWD(Data Warehouse Detail):数据仓库明细层。DWD数据仓库中的第二层,用于存储经过清洗、集成和加工后的数据,该层的数据结构、粒度和格式都已经进行了标准化和统一,是数据仓库中最主要的数据存储层。 3. DWS(Data Warehouse Summary):数据仓库汇总层。DWS数据仓库中的第三层,用于存储对DWD层数据进行聚合、计算和汇总后的结果,该层的数据结构、粒度和格式都已经进行了优化和压缩,是支持数据分析和决策的重要数据源。 4. DM(Data Mart):数据集市。DM是数据仓库中的一个分支或子集,用于针对具体业务需求和分析场景,对DWDDWS层的数据进行再加工和汇总,以支持更精细化和个性化的数据分析和决策。 5. DIM(Dimension):维度表。DIM是数据仓库中的一个重要概念,用于描述业务数据的各种维度属性,如时间、地域、产品、客户等,是数据分析和报表展示的基础和关键。 6. DWM(Data Warehouse Metadata):数据仓库元数据层。DWM数据仓库中的一个特殊层,用于存储数据仓库中各种对象和元素的定义和描述信息,如表、视图、报表、指标、度量等,是数据仓库管理和维护的基础和关键。 7. ADS(Analytic Data Store):分析型数据存储层。ADS数据仓库中的一种新型架构,它将ODSDWDDWS三层数据合并到一起,以支持数据分析和决策的实时性和灵活性,是一种适合大数据、实时计算和机器学习的数据仓库技术。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值