数据仓库初学

数据仓库

概念：

是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理人员决策

特征：

• 面向主题：操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定主题域进行组织。主题是一个抽象的概念，是指用户使用数据中仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统有关。
• 集成的：面向事务处理的操作型数据库通常与某些特定的应用相关，数据库之间相互独立，并且往往是异构的。而数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。
• 相对稳定的：操作型数据库中的数据通常实时更新，数据根据余姚及时发生变化。数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。
• 反映历史变化：操作型数据库主要关心当前某一个时间段内的数据，而数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。企业数据仓库的建设，是以现有企业业务系统和大量业务数据的积累为基础。数据仓库不是静态的概念，是由把信息及时交给需要这些信息的使用者，供他们做出改善其业务经营的决策，信息才能发挥作用，信息才有意义。而把信息加以整理归纳和重组，并及时提供给相应的管理决策人员，是数据仓库的根本任务。因此，从产业界的角度看，数据仓库建设是一个工程，是一个过程。

主要功能

将联机事务处理(OLTP)经年累月所累积的大量业务数据，通过数据仓库所特有的数据存储架构进行分析整理。通过数据仓库中大量的历史数据，进行联机分析处理(OLAP)、数据挖掘(Data Mining)，以便支撑分析型系统的应用。如，为决策支持系统(DDS)、企业信息系统(EIS)提供分析数据的支持，帮助决策者能快速有效的从大量资料中，分析出有价值的信息，以利决策拟定即快速回应外在环境变动，帮主构建商业智能(BI)。

一个相对完整的数据架构体系

技术缓冲层：

近源层(ODS层)：

• 解决源系统快速接入的问题，避免从源系统频繁、重复数据抽取
• 源系统一次性分析、抽取和接入
• 需要随着源系统变更进行维护

整合模型层：

• 面向主题整合，保留明细和历史数据
• 按照业务驱动、逐步建设
• 模型相对稳定，但是随着源系统和数据业务标准的变化，ETL会随之变化

共性加工层：

• 提供统一的业务口径
• 避免集市的重复加工
• 随着应用建设逐步完善
• 模型相对稳定，和业务扩展同步
• 业务统计口径变化，ETL会随之变化

应用集市层：

• 面向应用的个性化定制