数据仓库理论
文章平均质量分 93
可樂呀
这个作者很懒,什么都没留下…
展开
-
一种通用的数据仓库分层方法
0x00 概述数据分层是数据仓库设计中十分重要的一个环节,优秀的分层设计能够让整个数据体系更易理解和使用。而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计,或缺少明确而详细的说明,或缺少可落地实施的方案,或缺少具体的示例说明。因此,本文将指出一种通用的数据仓库分层方法,具体包含如下内容:介绍数据分层的作用 提出一种通用的数据分层设计,以及分层设计的原则 举出具体的例子说明 提出可落地的实践意见0x01 数据分层?“为什么要设计数据分层?”这应该是数据仓库同.转载 2021-02-17 20:29:43 · 281 阅读 · 0 评论 -
漫谈数据仓库和范式
0x00 概述长期从事数据仓库的你,是否还记得数据库设计中的三大范式?在设计数据仓库的表时,是否考虑过规范化和反规范化之间的区别?是否想过数据仓库和数据库在设计中对范式考虑的侧重点是什么?本文,将包含如下几个方面:一起回顾数据库设计中经典的三大范式 聊一聊数据仓库和范式之间的关系 聊一聊数据仓库和数据库在范式设计中的侧重点全文将会围绕一个订单表(假设一个订单中只有一种商品出现)设计的例子,既有数据库中表的设计,亦有数据仓库中表的设计,一个例子贯穿全文,有始有终,简单易懂。0x01 三范转载 2021-02-17 20:27:43 · 391 阅读 · 0 评论 -
第三篇:数据仓库系统的实现与使用(含OLAP重点讲解)
阅读目录前言 创建数据仓库 ETL:抽取、转换、加载 OLAP/BI工具 数据立方体(Data Cube) OLAP的架构模式 小结回到顶部前言上一篇重点讲解了数据仓库建模,它是数据仓库开发中最核心的部分。然而完整的数据仓库系统还会涉及其他一些组件的开发,其中最主要的是ETL工程,在线分析处理工具(OLAP)和商务智能(BI)应用等。 本文将对这些方面做一个总体性的介绍(尤其是OLAP),旨在让读者对数据仓库的认识提升到一个全局性的高度。回到顶...转载 2021-02-17 10:28:18 · 335 阅读 · 0 评论 -
第二篇:数据仓库与数据集市建模
阅读目录前言 维度建模的基本概念 维度建模的三种模式 实例:零售公司销售主题的维度建模 更多可能的事实属性 经典星座模型 缓慢变化维度问题 数据仓库建模体系之规范化数据仓库 数据仓库建模体系之维度建模数据仓库 数据仓库建模体系之独立数据集市 三种数据仓库建模体系对比 小结回到顶部前言 数据仓库建模包含了几种数据建模技术,除了之前在数据库系列中介绍过的ER建模和关系建模,还包括专门针对数据仓库的维度建模技术。 本文将详细介绍数据仓库维度建模技...转载 2021-02-17 10:26:02 · 185 阅读 · 0 评论 -
第一篇:数据仓库概述
阅读目录前言 数据库的"分家" 操作型数据库 VS 分析型数据库 数据仓库(data warehouse)定义 数据仓库组件 数据集市(data mart) 数据仓库开发流程 小结回到顶部前言 阅读本文前,请先回答下面两个问题: 1. 数据库和数据仓库有什么区别? 2. 某大公司Hadoop Hive里的关系表不完全满足完整/参照性约束,也不完全满足范式要求,甚至第一范式都不满足。这种情况正常吗? 如果您不能五秒...转载 2021-02-17 10:23:13 · 203 阅读 · 0 评论 -
从0开始学大数据-数据仓库建模
为什么要数据仓库建模数据模型是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。有了适合业务和基础数据存储环境的模型,那么大数据就能获得以下好处: 性能:良好的数据模型能帮助我们快速查询所需要的数据,减少数据的 I/O 吞吐。 成本:良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用,极大的降低大数据系统中的存储和计算成本。 效率:良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率。 质量:良好的数据模型能改善数据统计口转载 2021-02-17 00:14:41 · 336 阅读 · 0 评论 -
从0开始学大数据-数据仓库理论篇
从0开始学大数据-数据仓库理论篇什么是数据仓库数据仓库(DW)是一个 面向主题的、集成的、稳定的、随时间变化的数据的集合,以用于支持管理决策过程。“建立数据仓库的目的是为企业高层系统地组织、理解和使用数据以便进行战略决策。数据仓库的特征数据仓库有以下几大特征:(1)面向主题主题是指用户使用数据仓库进行决策时所关心的重点领域。数据仓库通过一个个主题将多个业务系统的数据加载到一起,为了各个主题(如:用户、订单、商品等)进行分析而建,操作型数据库是为了支撑各种业务而建立.转载 2021-02-17 00:11:58 · 336 阅读 · 0 评论 -
初探数据湖(Data Lake),到底有什么用?让我们来一窥究竟...
文章目录 一、前言二、现代数据架构三、数据湖架构参考数据湖架构-流程数据湖架构-集成企业数据湖架构数据湖最核心的能力 四、数据湖的作用1、数据集成能力(数据接入)2、数据存储3、数据搜索4、数据治理5、数据质量6、安全管控7、自助数据发现 五、数据湖与数据仓库的区...转载 2021-02-16 20:04:49 · 810 阅读 · 0 评论 -
详解阿里云数据中台,一篇文章全面了解大数据“网红”
文章目录 前言数据中台的定义数据中台顶层设计数据中台与传统数据仓库差异传统的数仓采用集数据中台与数据湖区别数据中台所面临的挑战 前言 数据中台的概念是最早由阿里巴巴首次提出,是为了应对内部众多业务部门千变万化的数据需求和高速时效性的要求而成长起来的,它既要满足业务...转载 2021-02-16 20:02:25 · 591 阅读 · 0 评论 -
数据仓库系列(四)数仓架构以及多维数据模型的设计
文章目录 一、前言二、数据仓库的定义三、数据仓库的特点四、数据仓库的作用五、数据仓库的架构六、数据仓库的要求七 、数据仓库分层八、数据仓库四个层次的划分8.1 ODS层8.2 PDW层8.3 APP层 九、数据流向十、数据仓库模型设计基础10.1 维度数据模型10.2 ...转载 2021-02-16 19:59:32 · 1219 阅读 · 0 评论 -
数据仓库系列(一)什么是维度建模以及维度建模的基本要素
文章目录 一、前言二、什么是维度建模三、维度建模的基本要素3.1 事实表3.2 维度表 一、前言 学习数据仓库,你一定会了解到两个人:数据仓库之父比尔·恩门(Bill Inmon)和数据仓库权威专家Ralph Kimball。 Inmon和Kimball两...转载 2021-02-16 19:57:26 · 1966 阅读 · 0 评论 -
数据仓库系列(三)数仓分层的意义价值及如何设计数据分层
文章目录 一、前言二、数仓建模三、数仓分层四、数仓的基本特征五、数据仓库用途六、数仓分层的好处七、如何分层 一、前言 现在说数仓,更多的会和数据平台或者基础架构搭上,已经融合到整个基础设施的搭建上。这里呢,我们不说Hadoop各种组件之间的配合,我们就简单说下数仓...转载 2021-02-16 19:02:58 · 1502 阅读 · 1 评论