数据仓库之DWD层

DWD(Data WareHouse Detail)数据明细层,主要是将从业务数据库中同步过来的ODS层数据进行清洗和整合成相应的事实表。事实表作为数据仓库维度建模的核心,需要紧紧围绕着业务过程来设计。在拿到业务系统的表结构后,进行大概的梳理,再与业务方沟通整个业务过程的流转过程,对业务的整个生命周期进行分析,明确关键的业务步骤,在能满足业务需求的前提下,尽可能设计出更通用的模型。

业务方有时只仅仅只是考虑了当下的情况。例如业务想要一个审核通过人员的明细数据,我们设计了一个全量的审核明细表,过了几天,业务方又想要分析审核流程中每个环节的转化情况,我们又要设计一张增量的明细表。一张表就可以满足需要的事被弄成了两张,而如果放弃前一张表一方面否定了自己之前的工作,另一方面所有依赖的下游都需要变更取数逻辑,增加了工作量;不放弃表的数量增加,数据就有了两个逻辑出口,统一口径和数据管理也成为一个问题。而这一切都可以在模型设计前期与业务沟通的过程中避免。因此我们在与业务沟通时,一方面了解整个业务周期过程,另一方面要考虑的是从业务方的角度来,分析当下业务需求和未来潜在的需求,尽量做到一次设计,全面覆盖。

DWD层中主要的事实表有三种类型 : 事务事实表、周期快照事实表和累积快照事实表。

(一)事务事实表

事务事实表,主要分两种单事务事实表和多事务事实表。

1.单事务事实表

针对单个业务过程而设计一个事实表。这样的设计可以对每个业务过程进行单独分析,并且对于业务方而言,符合其逻辑认知,使用起来没有障碍。

2.多事务事实表

单事务事实表比较容易实现,但也有一定的缺点。1.在多个业务过程在维度和粒度一致的

  • 4
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
数据仓库中的各个次可以按照数据处理的不同阶段来划分,常见的包括: 1. ODS(Operational Data Store):用于存放从各个业务系统中提取的原始数据,也称为操作型数据存储。ODS主要用于数据的收集、清洗、去重、转换等操作,保证数据的准确性和完整性。 2. DWDData Warehouse Detail):用于存放从ODS中提取的经过清洗和加工的详细数据,也称为明细数据DWD主要用于支持数据的分析和建模,为后续的数据处理提供基础。 3. DWSData Warehouse Summary):用于存放从DWD中汇总而来的聚合数据,也称为汇总数据。DWS主要用于支持报表和分析需求,提高数据分析的效率。 4. DWIData Warehouse Integrated):用于存放从DWS中集成而来的数据,也称为集成数据。DWI主要用于数据挖掘、分析和建模,提供企业级的数据支持。 5. DIM(Dimensional):用于建立维度模型,描述企业的业务过程和业务指标。DIM主要用于支持OLAP(联机分析处理),提高数据分析的效率。 6. UEP(Universal Enterprise Platform):用于构建企业级的数据集成和交换平台,实现不同系统之间的数据集成和交换。UEP主要用于支持企业级的数据整合和管理。 综上所述,不同的数据仓库次在不同的阶段扮演着不同的角色,共同构建了一个完整的数据仓库体系,为企业决策提供了强大的数据支持。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值