数仓建模
文章平均质量分 93
数据仓库(英文名称为:Data Warehouse ),可简写为 DW ;数据仓库是一个面向主题、集成性、稳定性、反映历史变化的数据集合;主要用于组织积累的历史数据,以及使用分析方法( OLAP 、数据分析)进行分析整理,进而辅助决策,为管理者、企业系统提供数据支持,构建商业智能。
Small_Ran
这个作者很懒,什么都没留下…
展开
-
第一部分数据仓库-概述
数据仓库(英文名称为:Data Warehouse ),可简写为 DW;数据仓库是一个面向主题、集成性、稳定性、反映历史变化的数据集合;主要用于组织积累的历史数据,以及使用分析方法( OLAP 、数据分析)进行分析整理,进而辅助决策,为管理者、企业系统提供数据支持,构建商业智能。原创 2023-02-16 15:12:38 · 287 阅读 · 0 评论 -
第一部分数据仓库-建模
上一篇聊到数据仓库的基本概念以及经典的建模方法的对比(范式建模 VS 维度建模),那么本篇主要阐述关于数据仓库建模的基本概念。原创 2023-02-16 15:12:19 · 221 阅读 · 0 评论 -
第二部分数仓建模- OneData 体系之需求调研及规划(一)
大数据之路:阿里巴巴大数据实践》OneModel即建立企业统一的数据公共层,从设计、开发、部署和使用上保障了数据口径规范和统一,实现数据资产全链路管理,提供标准数据输出。OneID即建立业务实体要素资产化为核心,实现全域链接、标签萃取、立体画像,其数据服务理念根植于心,强调业务模式。OneService即数据被整合和计算好之后,需要提供给产品和应用进行数据消费,为了更好的性能和体验,需要构建数据服务层,通过统一的接口服务化方式对外提供数据服务。原创 2023-02-16 15:13:00 · 1304 阅读 · 0 评论 -
第二部分数仓建模- OneData 体系之规范定义(二)
上一篇主要阐述了OneData建模体系的大概流程,以及三个重要板块中的需求调研及规划部分;而本篇主要阐述规范定义模块的内容。在我们知道数仓涵盖的业务流程以及需求点,然后再进行数据域的划分;这时数仓大致的架构与方向基本明确,而接下来要说的则是具体细节。例如:需要建哪些维度表、每张维度表的粒度是什么、公共计算逻辑是哪些等等;后续内容将会展开说明。规范定义指以维度建模作为理论基础,构建总线矩阵,划分和定义数据域、业务过程、维度、度量 /原子指标、修饰类型、修饰词、时间周期、派生指标等;原创 2023-02-16 15:11:38 · 778 阅读 · 0 评论 -
第二部分数仓建模- OneData 体系之模型设计(三)
上一篇主要阐述了 OneData 建模体系中的规范定义部分,而本篇主要阐述的是分层模型设计部分。当了解到每一个业务过程与维度的关联,就可以基本明确需要设计事实表与维度表;再通过明确统计指标的深入分析,就可以下沉某些相同计算逻辑。这是数仓的基本架构雏形已明确,而接下来则是设计各个表如何设计。例如:什么样的表放在ODS层以或者DWD层、及这样设计的依据是什么;后续内容将展开说明。原创 2023-02-16 15:12:26 · 582 阅读 · 0 评论 -
第三部分数仓建模- OneData 体系之维度表设计(一)
上一篇主要阐述了 OneData 建模体系中的模型设计,而本篇主要阐述是怎么创建维度表。当了解到数仓每层的设计目的时,对于每层模型设计有了进一步的掌握;在此之前所提及到的维度模型设计概念比较模糊,而接下来则是深入阐述维度模型设计。例如:什么是缓慢维变化,以及规范化与反规范化的区别;后续内容将展开说明。维度表可以理解为是对数据抽象的一个实体,它是维度建模的基础和灵魂。维度表是围绕业务过程所处环境进行设计的,它主要包含一个主键和各种维度字段(维度属性);原创 2023-02-16 15:10:52 · 555 阅读 · 0 评论 -
第三部分数仓建模- OneData 体系之事实表设计(二)
上一篇主要阐述了维度表的设计,而本篇主要阐述怎么创建事实表。维度表是围绕业务过程所处环境设计,那么事实表则是围绕业务过程设计;而接下来将深入阐述事实表模型设计。例如:事实表有几种类型、什么是可加、半可加和不可加;后续内容将展开说明。事实表是指对实体发生行为事实时所产生的数据组合成的模型。事实表是不断动态增长,数据量一般比维度表要大;例如商品交易表、系统日志表等等属于事实表。事实表的组成包括与该业务过程相关的维度引用(维度表的外键),以及该业务过程的度量(可累加的数字字段,例如:金额)。原创 2023-02-16 15:10:09 · 432 阅读 · 0 评论