提供一个数据仓库的学习大纲,初学者可以按照这个方向进行学习:认知数据仓库
数据仓库的建模
数据仓库的架构
ETL开发
元数据管理
一、认知数据仓库
1、什么是数据仓库
数据仓库,简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。
2 、数据仓库的特点数据仓库的数据是面向主题的
数据仓库的数据是集成的
数据仓库的数据是不可更新的
数据仓库的数据是随时间不断变化的
3、数据仓库发展历程
简单报表阶段:这个阶段,系统的主要目标是解决一些日常的工作中业务人员需要的报表,以及生成一些简单的能够帮助领导进行决策所需要的汇总数据。
数据集市阶段:这个阶段,主要是根据某个业务部门的需要,进行一定的数据的采集,整理,按照业务人员的需要,进行多维报表的展现,能够提供对特定业务指导的数据,并且能够提供特定的领导决策数据。
数据仓库阶段:这个阶段,主要是按照一定的数据模型,对整个企业的数据进行采集,整理,并且能够按照各个业务部门的需要,提供跨部门的,完全一致的业务报表数据,能够通过数据仓库生成对对业务具有指导性的数据,同时,为领导决策提供全面的数据支持。
4、数据库与数据仓库的区别
数据库与数据仓库的区别实际讲的是OLTP与OLAP的区别。
操作型处理,叫联机事务处理OLTP(On-Line Transaction Processing,),也可以称面向交易的处理系统,它是针对具体业务在数据库联机的日常操作,通常对少数记录进行查询、修改。用户较为关心操作的响应时间、数据的安全性、完整性和并发支持的用户数等问题。传统的数据库系统作为数据管理的主要手段,主要用于操作型处理。
分析型处理,叫联机分析处理OLAP(On-Line Analytical Processing)一般针对某些主题的历史数据进行分析,支持管理决策。
5、数据仓库架构分层ODS层:为临时存储层,是接口数据的临时存储区域,为后一步的数据处理做准备。
PDW层:仓库层,PDW层的数据应该是一致的、准确的、干净的数据,即对源系统数据进行了清洗(去除了杂质)后的数据。
DM层:为数据集市层,这层数据是面向主题来组织数据的,通常是星形或雪花结构的数据。
APP层:为应用层,这层数据是完全为了满足具体的分析需求而构建的数据&