数据仓库知识与实战——电信运营商数仓建模

作者：网舟科技——王超

什么是数据仓库

数据仓库是为企业提供聚合,存储,投递,以及提供决策支持能提,数据仓库包含广泛数据并按照主题进行存储并且是在数据仓库流程过程中的一个部分。Willianm(Bill) H. Inmon提出过一个概念:”一个面向主题的,集成的,时间序列变化的以及不易更改的数据的集合为管理者们的决策过程提供支持”。

总体架构上,数据仓库设计人,过程和技术去实现提供一致性,集成化，标准化以及易于理解的决策支持数据的目标。

数据仓库是什么,不是什么

一个数据仓库是一个数据的仓库,数据仓库里的数据是其他数据介质可操作数据的副本,这些数据通常是从多个数据源获取的,并且是对决策支持有用的,而不是最原始的数据。

“数据仓库”,并不是数据库的别称,数据仓库的数据也并不只是由历史数据所构成,数据仓库里的数据也包含分析数据和报告数据,也可以交易数据,(些数据是有应用系统所管理的数据,并不存在于数据仓库之中)。

数据仓库架构组件

数据仓库的技术架构包括:数据源,ETL,和数据访问接口。

数据仓库架构组件

 

数据仓库架构组件

数据仓库技术栈列表:

数据仓库技术栈列表

基础架构的基础设施

数据仓库技术栈是构建在硬件和软件框架之上的。

基础架构的基础设施

使用数据仓库应用或者专用的数据库基础设施来帮助我们构建数据仓库,这些技术上旨在提供高性能。这些数据仓库应用以最优的形式提供数据库服务,使用MMP架构,它们包括具有一些特有功能的紧密耦合的计算机,以及可访问的存储设备进行并行执行,专有的功能包含:系统控制,数据库访问,数据加载,数据备份。

数据仓库应用有超高的性能，他们有着比传统数据库高100倍的性能。

数据架构

数据架构是企业数据管理的蓝图,并且有一些概念,这些概念是:数据治理,数据质量,ILM,数据框架,元数据和含义,主要数据,最后是商业智能.

数据架构

 

数据架构

数据流

该图显示了数据如何在数据仓库系统中流动。数据首先来自数据源，例如库存系统(存储在数据仓库和操作数据存储中的系统)。数据存储被格式化以公开数据市场中的数据，然后使用BI和分析工具访问这些数据市场。