可樂呀-CSDN博客

转载漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现）

0x00 前言本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。最新文章已经迁入公众：木东居士全文由下面几个部分组成：先分享一下拉链表的用途、什么是拉链表。通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切片表的区别。举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的这张表（因为现在Hive的大规模使用，我们会以Hive场景下的设计为例）。分析一下拉链表的优缺点，并对前面的提到

2021-02-17 20:34:23 236

转载一种通用的数据仓库分层方法

0x00 概述数据分层是数据仓库设计中十分重要的一个环节，优秀的分层设计能够让整个数据体系更易理解和使用。而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计，或缺少明确而详细的说明，或缺少可落地实施的方案，或缺少具体的示例说明。因此，本文将指出一种通用的数据仓库分层方法，具体包含如下内容：介绍数据分层的作用提出一种通用的数据分层设计，以及分层设计的原则举出具体的例子说明提出可落地的实践意见0x01 数据分层？“为什么要设计数据分层？”这应该是数据仓库同.

2021-02-17 20:29:43 240

转载漫谈数据仓库和范式

0x00 概述长期从事数据仓库的你，是否还记得数据库设计中的三大范式？在设计数据仓库的表时，是否考虑过规范化和反规范化之间的区别？是否想过数据仓库和数据库在设计中对范式考虑的侧重点是什么？本文，将包含如下几个方面：一起回顾数据库设计中经典的三大范式聊一聊数据仓库和范式之间的关系聊一聊数据仓库和数据库在范式设计中的侧重点全文将会围绕一个订单表（假设一个订单中只有一种商品出现）设计的例子，既有数据库中表的设计，亦有数据仓库中表的设计，一个例子贯穿全文，有始有终，简单易懂。0x01 三范

2021-02-17 20:27:43 342

转载第三篇：数据仓库系统的实现与使用(含OLAP重点讲解)

阅读目录前言创建数据仓库 ETL：抽取、转换、加载 OLAP/BI工具数据立方体(Data Cube) OLAP的架构模式小结回到顶部前言上一篇重点讲解了数据仓库建模，它是数据仓库开发中最核心的部分。然而完整的数据仓库系统还会涉及其他一些组件的开发，其中最主要的是ETL工程，在线分析处理工具(OLAP)和商务智能(BI)应用等。本文将对这些方面做一个总体性的介绍(尤其是OLAP)，旨在让读者对数据仓库的认识提升到一个全局性的高度。回到顶...

2021-02-17 10:28:18 313

转载第二篇：数据仓库与数据集市建模

阅读目录前言维度建模的基本概念维度建模的三种模式实例：零售公司销售主题的维度建模更多可能的事实属性经典星座模型缓慢变化维度问题数据仓库建模体系之规范化数据仓库数据仓库建模体系之维度建模数据仓库数据仓库建模体系之独立数据集市三种数据仓库建模体系对比小结回到顶部前言数据仓库建模包含了几种数据建模技术，除了之前在数据库系列中介绍过的ER建模和关系建模，还包括专门针对数据仓库的维度建模技术。本文将详细介绍数据仓库维度建模技...

2021-02-17 10:26:02 161

转载第一篇：数据仓库概述

阅读目录前言数据库的"分家" 操作型数据库 VS 分析型数据库数据仓库(data warehouse)定义数据仓库组件数据集市(data mart) 数据仓库开发流程小结回到顶部前言阅读本文前，请先回答下面两个问题： 1. 数据库和数据仓库有什么区别？ 2. 某大公司Hadoop Hive里的关系表不完全满足完整/参照性约束，也不完全满足范式要求，甚至第一范式都不满足。这种情况正常吗？如果您不能五秒...

2021-02-17 10:23:13 180

转载从0开始学大数据-数据仓库建模

为什么要数据仓库建模数据模型是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。有了适合业务和基础数据存储环境的模型，那么大数据就能获得以下好处：性能：良好的数据模型能帮助我们快速查询所需要的数据，减少数据的 I/O 吞吐。成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大的降低大数据系统中的存储和计算成本。效率：良好的数据模型能极大地改善用户使用数据的体验，提高使用数据的效率。质量：良好的数据模型能改善数据统计口

2021-02-17 00:14:41 292

转载从0开始学大数据-数据仓库理论篇

从0开始学大数据-数据仓库理论篇什么是数据仓库数据仓库（DW）是一个面向主题的、集成的、稳定的、随时间变化的数据的集合，以用于支持管理决策过程。“建立数据仓库的目的是为企业高层系统地组织、理解和使用数据以便进行战略决策。数据仓库的特征数据仓库有以下几大特征：（1）面向主题主题是指用户使用数据仓库进行决策时所关心的重点领域。数据仓库通过一个个主题将多个业务系统的数据加载到一起，为了各个主题（如：用户、订单、商品等）进行分析而建，操作型数据库是为了支撑各种业务而建立.

2021-02-17 00:11:58 315

转载初探数据湖（Data Lake），到底有什么用？让我们来一窥究竟...

文章目录一、前言二、现代数据架构三、数据湖架构参考数据湖架构-流程数据湖架构-集成企业数据湖架构数据湖最核心的能力四、数据湖的作用1、数据集成能力（数据接入）2、数据存储3、数据搜索4、数据治理5、数据质量6、安全管控7、自助数据发现五、数据湖与数据仓库的区...

2021-02-16 20:04:49 767

转载详解阿里云数据中台，一篇文章全面了解大数据“网红”

文章目录前言数据中台的定义数据中台顶层设计数据中台与传统数据仓库差异传统的数仓采用集数据中台与数据湖区别数据中台所面临的挑战前言数据中台的概念是最早由阿里巴巴首次提出，是为了应对内部众多业务部门千变万化的数据需求和高速时效性的要求而成长起来的，它既要满足业务...

2021-02-16 20:02:25 432

转载数据仓库系列（四）数仓架构以及多维数据模型的设计

文章目录一、前言二、数据仓库的定义三、数据仓库的特点四、数据仓库的作用五、数据仓库的架构六、数据仓库的要求七、数据仓库分层八、数据仓库四个层次的划分8.1 ODS层8.2 PDW层8.3 APP层九、数据流向十、数据仓库模型设计基础10.1 维度数据模型10.2 ...

2021-02-16 19:59:32 1187

转载数据仓库系列（一）什么是维度建模以及维度建模的基本要素

文章目录一、前言二、什么是维度建模三、维度建模的基本要素3.1 事实表3.2 维度表一、前言学习数据仓库，你一定会了解到两个人：数据仓库之父比尔·恩门（Bill Inmon）和数据仓库权威专家Ralph Kimball。 Inmon和Kimball两...

2021-02-16 19:57:26 1935

转载 CSDN上转载文章

在参考“如何快速转载CSDN中的博客”后，由于自己不懂html以及markdown相关知识，所以花了一些时间来弄明白怎么转载博客，以下为转载CSDN博客步骤和一些知识小笔记。参考博客原址：http://blog.csdn.net/bolu1234/article/details/...

2021-02-16 19:33:48 106

转载数据仓库系列（三）数仓分层的意义价值及如何设计数据分层

文章目录一、前言二、数仓建模三、数仓分层四、数仓的基本特征五、数据仓库用途六、数仓分层的好处七、如何分层一、前言现在说数仓，更多的会和数据平台或者基础架构搭上，已经融合到整个基础设施的搭建上。这里呢，我们不说Hadoop各种组件之间的配合，我们就简单说下数仓...

2021-02-16 19:02:58 1338 1

原创欢迎使用CSDN-markdown编辑器（保留）

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

2021-02-16 18:58:57 122

转载 atom-图片粘贴

图片粘贴(markdown-image-paste)图片功能支持的好坏直接决定了我是否选择使用一个Markdown编辑器。也有不少编辑器和在线的图床绑定，但是这种方式受限于网络。虽然Markdown支持插入本地图片，但是每次插入新图片都是一堆重复操作：截图－命名－保存－插入。markdown-image-paste将这些操作一步完成：使用截图工具将图片复制到系统剪切板。在Markdow...

2018-05-10 22:44:11 4426

原创 Markdown编辑器写博客的介绍

临时欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl +...

2018-04-24 17:59:18 160

Vincent-Sheng的博客