数据中台(-让数据用起来)-读书笔记11

本文介绍了统一数仓建设的核心,包括基于维度建模的标准化数据底座,强调了业务完整性和数据一致性的重要性。内容涵盖了统一数仓的概念、目标、推荐模型,详细阐述了维度建模的特点、核心概念,如业务板块、模型设计、数据域、业务过程等,并讨论了数据域的划分、指标设计、维度表和事实表的设计方法。最后,文章提到了模型落地实现的步骤,包括物理层面的建设、数据逻辑代码的开发与测试。
摘要由CSDN通过智能技术生成

(2020.11.26)

统一数仓建设-标准化的数据底座

1、统一数仓概念、目标及推荐模型

  • 概念:统一数仓建设过程以维度建模为理论基础,构建总线矩阵,划分业务板块、定义数据域、业务过程、维度、原子指标、修饰类型、修饰词、时间周期、派生指标,进而进行维度表与事实表的模型设计
  • 目标:从业务完整性的角度重组数据,建设一套覆盖全域、全历史的企业数据体系,利用这套体系还原企业任意时刻的业务运行状态;
  • 推荐模型:随着技术的

2、维度建模的特点与核心概念

  • 特点

      a. 模型简单易理解:仅有维度和事实两种数据类型,站在业务的角度组织数据;

      b. 性能好:维度建模使用可预测的标准框架,允许数据库系统和最终用户通过查询工具在数据方面生成强大的假设条件;

      c. 可扩展性好:可容纳不可预知的新数据源和新的设计策略;在不改变模型粒度的情况下,方便的增加新的分析维度和事实,不需重载数据,也不需要为了适应新的改变而重新编码;

      d. 数据冗余:构建事实表的星型模型前需要大量的数据预处理,当业务发生变化时,需要重新定义维度,进而重新进行维度数据的预处理,在处理过程中,产生大量的冗余数据;

  • 核心概念

       a. 业务板块:一种大的划分,各业务块中的业务重叠度极低、数据独立建设

       b. 模型设计:以建模理论为基础,基于维度建模总线架构,构建一致性的维度和事实&#x

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值