数据仓库
sinat_28472983
这个作者很懒,什么都没留下…
展开
-
数据仓库维度建模
概述数据仓库包含的内容很多,它可以包括架构、建模和方法论。对应到具体工作中的话,它可以包含下面的这些内容:以Hadoop、Spark、Hive等组建为中心的数据架构体系。 各种数据建模方法,如维度建模。 调度系统、元数据系统、ETL系统、可视化系统这类辅助系统。我们暂且不管数据仓库的范围到底有多大,在数据仓库体系中,数据模型的核心地位是不可替代的。因此,下面的将详细地阐述数据建模...转载 2018-09-12 17:18:33 · 268 阅读 · 0 评论 -
数据仓库——关系模型和维度模型
大神Inmon的《数据仓库》和kimball《数据仓库工具箱》算是两个经典吧,最近出了本很厚的《数据仓库与商业智能宝典》,但也是人家kimball以前经典文章的合集。 关系建模又叫ER建模,是数据仓库之父Inmon推崇的,其从全企业的高度设计一个3NF模型的方法,用实体加关系描述的数据模型描述企业业务架构,在范式理论上符合3NF,其是站在企业角度进行面向主题的抽象,而不是针对某个具体业务流...转载 2018-07-07 09:59:40 · 7801 阅读 · 0 评论 -
Date Vault概念
Data Vault模型是由业务键(Hub)、业务关系(Link)、业务描述(Satellite)组成的 源数据库模型(3NF)如下图:星型模型如下图:Data Vault模型如下图:说明:星型模型(star schema)的事实表采取了完全规范化的第三范式(3NF)模型,而维表采取了第二范式的设计模型。有时也会把维表的设计规范化,就成了所谓的雪花模型(...转载 2018-09-12 17:19:16 · 3417 阅读 · 0 评论 -
kimball维度建模步骤
业务需求维度模型1.业务处理2.粒度3.维度4.事实 (数据实际)首先对业务进行描述,以使建立的维度与事实表更容易理解。在对业务实例研究进行描述之后,现在就可以开始维度建模的设计工作了。第一步:选取业务处理设计工作的第一步使,通过将对业务需求的理解与对可用数据的理解组合起来而确定建模的业务处理内容。建立的第一个维度模型应该是一个最有影响的模型--它应该对最紧迫的业务问题...转载 2018-11-09 11:48:45 · 7322 阅读 · 0 评论 -
专栏笔记:基于hadoop生态圈的数据仓库实践
原专栏地址:https://blog.csdn.net/column/details/hadoop-dw.html?&page=2概述数据仓库是一个面向主题的、集成的、随时间变化的、非易失的数据集合,用于支持决策。它主要的目标是分析和处理数据,和传统的操作型事务处理有很大区别。之所以不直接在操作型系统上执行分析查询,而是从操作型系统抽取数据,最主要有以下两个原因:(1)在操作型...转载 2018-11-05 11:15:25 · 228 阅读 · 0 评论 -
数据仓库中的慢变化维度和快变化维度
数据仓库中的事实表总是在变化中,通常是新的业务数据不断装载入DW。事实表数据的增加是正常现象,也无需特别处理。但很多时候维度表的数据也会发生变化,且维度表的数据变化会导致维度表和事实表的关系发生变化。因此对于维度变化,该如何设计维度表,是本文要讨论的问题。例如一个订单事实表和一个客户维度表,每个订单有一个对应的客户。在今年5月17日之前,客户维度表中某客户的类别是corporate,5月18日...转载 2018-11-23 10:56:24 · 2247 阅读 · 0 评论 -
常用SQL-on-Hadoop产品:Hive、SparkSQL、Impala、HAWQ
常用SQL-on-Hadoop产品的不足1. Hive Hive是最老牌的一款Hadoop数据仓库产品,更够部署在所有Hadoop发行版本之上。它在MapReduce计算框架上封装一个SQL语义层,极大简化了MR程序的开发。直到现在,Hive以其稳定性依然赢得大量用户。 但是Hive的缺点也很明显——速度太慢。随着技术的不断进步,Hive的执行引擎也从最初的M...转载 2018-11-23 11:35:37 · 1547 阅读 · 0 评论 -
数据仓库——阿里五层模型架构
目录1. ODS 数据准备层2. DWD 数据明细层3. DW(B/S) 数据汇总层4. DM 数据集市层5. ST 数据应用层解码OneData,阿里的数仓之路 1. ODS 数据准备层功能:ODS层是数据仓库准备区,为DWD层提供基础原始数据,可减少对业务系统的影响建模方式及原则:从业务系统增量抽取、保留时间由业务需求决定、可分表进行周期存储、数据...转载 2018-12-04 16:11:14 · 37532 阅读 · 1 评论