guanyi的博客

--转自：http://blog.itpub.net/post/14877/198599数据仓库的分层可以算是数据仓库架构的子话题。在前段时间参与的一次讨论中，笔者发现其中争论的焦点集中在每一层的作用、特点、是否有必要存在等问题。其中，大家虽然一致提到某些相关概念，但各方的理解却并非完全一致。例如对于ODS是什么、维度建模是什么等问题的解读，都是如此。不妨想想看：数据从分散而异构的数据源中长途...

原网址：http://www.cnn6.net/html/database/2017519/201828.html?ref=myread 在您读之前，我得明确地告诉您，我并不是一个数据库设计领域的大师。以下列出的 11 点是我对自己在平时项目实践和阅读中学习到的经验总结出来的个人见解。我个人认为它们对我的数据库设计提供了很大的帮助。实属一家之言，欢迎拍砖 : )我之所以写下这篇这么完整的文章...

引言           在我艰难的自考历程中，数据库系统原理考两次，现在也正经历第三次。现在看来之前没有过原因就是没有好好看书好复习，吸取前面的经验教训，这次可是把数据库系统原理好好的看了一遍，正是因为这一遍的学习，让我相信，数据库真的没有那么难。正因为前面的自考复习，所以在软考复习的时候这一块也轻松了很多。 概念        所谓的范式就是为了减少数据库中数据冗余的过...

缓慢变化维：维度表里面的数据并非是始终不变的，总会随着时间发生变化。维度建模的数据仓库中，有一个概念叫Slowly Changing Dimensions，中文一般翻译成“缓慢变化维”，经常被简写为SCD。缓慢变化维的提出是因为在现实世界中，维度的属性并不是静态的，它会随着时间的流失发生缓慢的变化。这种随时间发生变化的维度我们一般称之为缓慢变化维，并且把处理维度表的历史变化信息的问题称为处...

OLTP与OLAP的介绍    数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易...

阅读目录前言 维度建模的基本概念 维度建模的三种模式 实例：零售公司销售主题的维度建模 更多可能的事实属性 经典星座模型 缓慢变化维度问题 数据仓库建模体系之规范化数据仓库 数据仓库建模体系之维度建模数据仓库 数据仓库建模体系之独立数据集市 三种数据仓库建模体系对比 小结回到顶部前言        数据仓库建模包含了几种数据建模技术，除了之前在数据库系列中介绍过...

阅读目录前言 数据库的"分家" 操作型数据库 VS 分析型数据库 数据仓库(data warehouse)定义 数据仓库组件 数据集市(data mart) 数据仓库开发流程 小结回到顶部前言        阅读本文前，请先回答下面两个问题：        1. 数据库和数据仓库有什么区别？        2. 某大公司Hadoop Hive里的关系表不完全满足...

阅读目录前言 参照完整性约束对更新删除操作的影响 索引机制 触发器机制 数据库系统开发流程 数据库系统管理 数据质量体系 小结回到顶部前言        前面的文章中，主要都是在围绕关系数据库理论进行研究，没有涉及到数据库系统的具体实现。        虽说数据库系统的具体实现因业务环境，RDBMS等因素而异，但总体开发流程，以及开发过程中所涉及到的一些问题，也具有...

阅读目录前言 大数据技术中SQL的作用 SQL命令综述 DDL DML DCL & TCL 小结回到顶部前言        确实，关于SQL的学习资料，各类文档在网上到处都是。但它们绝大多数的出发点都局限在旧有关系数据库里，内容近乎千篇一律。而在当今大数据的浪潮下，SQL早就被赋予了新的责任和意义。        本篇中，笔者将结合过去在A公司和T公司大数据部...

阅读目录前言 更新异常 函数依赖 规范化 规范化的例外情况 ER建模，关系建模与规范化设计 小结回到顶部前言        在前两篇中，主要讲了ER建模和关系建模。在具体分析如何用数据库管理软件RDBMS(Relational Database Management System)实现这些关系前，我想有必要思考下面这个问题：        为什么要这么麻烦？为什么又是...

阅读目录前言 基本概念 ER模型到关系表的映射 概念模型 VS 逻辑模型 小结回到顶部前言        ER建模环节完成后，需求就被描述成了ER图。之后，便可根据这个ER图设计相应的关系表了。        但从ER图到具体关系表的建立还需要经过两个步骤：1. 逻辑模型设计 2. 物理模型设计。其中前者将ER图映射为逻辑意义上的关系表，后者则映射为物理意义上的关系表。逻...

1．  主题性数据仓库是一般从用户实际需求出发，将不同平台的数据源按设定主题进行划分整合，与传统的面向事务的操作型数据库不同，具有较高的抽象性。面向主题的数据组织方式，就是在较高层次对分析对象数据的一个完整、统一并一致的描述，能完整及统一地刻画各个分析对象所涉及的有关企业的各项数据，以及数据之间的联系。2．集成性数据仓库中存储的数据大部分来源于传统的数据库，但并不是将原有数据简单的直接...

数据库是最常听到的名词之一了，但是当提到数据仓库的时候，就会疑问，数据仓库是数据库吗？ 如果不是，数据仓库是什么，用来干什么的呢？ 平时遇到这个问题一般还真是不好简单明了的回答，因为也的确不是一两句话说的清的。那么数据仓库到底是什么呢，跟数据库有什么区别呢？ 数据仓库是什么呢？数据仓库是面向主题的 集成的 相对稳定的 反映历史变化的数据集合，目的在于支持决策 面向主题 ...

在上一期的专栏文章中，我们曾经提到：数据分析系统的总体架构分为四个部分 —— 源系统、数据仓库、多维数据库、客户端（图一：pic1.bmp）其中，数据仓库（DW）起到了数据大集中的作用。通过数据抽取，把数据从源系统源源不断地抽取出来，可能每天一次，或者每3个小时一次（当然是自动的）。这个过程，我们称之为ETL过程。那么，今天，我们就来谈一谈：如何搭建数据仓库，在这个过程中都应该遵循哪些方法...