数据仓库的总结

 数据仓库基本概念：

Data warehouse is a subject oriented, integrated,non-volatile and time variant collection of data in support of management’s decision —— [Inmon,1996].
Data warehouse is a set of methods, techniques,and tools that may be leveraged together to produce a vehicle that delivers data to end-users on an integrated platform —— [Ladley,1997].
Data warehouse is a process of crating, maintaining,and using a decision-support infrastructure ——  [Appleton,1995][Haley,1997][Gardner 1998].

　　

  

数据仓库是决策支持系统（dss）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库的特征在于面向主题、集成性、稳定性和时变性。

 

 

数据仓库特征 [Inmon,1996]

1.面向主题
               一个主题领域的表来源于多个操作型应用（如：客户主题，来源于：定单处理；应收帐目；应付帐目；…）
               典型的主题领域：客户；产品；交易；帐目
               主题领域以一组相关的表来具体实现
               相关的表通过公共的键码联系起来（如：顾客标识号Customer ID）
               每个键码都有时间元素（从日期到日期；每月累积；单独日期…）
               主题内数据可以存储在不同介质上（综合级，细节级，多粒度）
2.集成
数据提取、净化、转换、装载
3.稳定性
批处理增加，仓库已经存在的数据不会改变
4.随时间而变化（时间维）
5.管理决策支持

 

 

　　1、数据仓库是面向主题的；

　　2、数据仓库是集成的，数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出

  

数据仓库的核心工具

来，进行加工与集成，统一与综合之后才能进入数据仓库；

　　3、数据仓库是不可更新的，数据仓库主要是为决策分析提供数据，所涉及的操作主要是数据的查询；

　　4、数据仓库是随时间而变化的，传统的关系数据库系统比较适合处理格式化的数据，能够较好的满足商业商务处理的需求。稳定的数据以只读格式保存，且不随时间改变。

　　5、汇总的。操作性数据映射成决策可用的格式。

　　6、大容量。时间序列数据集合通常都非常大。

　　7、非规范化的。Dw数据可以是而且经常是冗余的。

　　8、元数据。将描述数据的数据保存起来。

　　9、数据源。数据来自内部的和外部的非集成操作系统。

　　数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”。数据仓库的方案建设的目的，是为前端查询和分析作为基础，由于有较大的冗余，所以需要的存储也较大。为了更好地为前端应用服务，数据仓库往往有如下几点特点：

　　1.效率足够高。数据仓库的分析数据一般分为日、周、月、季、年等，可以看出，日为周期的数据要求的效率最高，要求24小时甚至12小时内，客户能看到昨天的数据分析。由于有的企业每日的数据量很大，设计不好

  

的数据仓库经常会出问题，延迟1-3日才能给出数据，显然不行的。

　　2.数据质量。数据仓库所提供的各种信息，肯定要准确的数据，但由于数据仓库流程通常分为多个步骤，包括数据清洗，装载，查询，展现等等，复杂的架构会更多层次，那么由于数据源有脏数据或者代码不严谨，都可以导致数据失真，客户看到错误的信息就可能导致分析出错误的决策，造成损失，而不是效益。

　　3.扩展性。之所以有的大型数据仓库系统架构设计复杂，是因为考虑到了未来3-5年的扩展性，这样的话，未来不用太快花钱去重建数据仓库系统，就能很稳定运行。主要体现在数据建模的合理性，数据仓库方案中多出一些中间层，使海量数据流有足够的缓冲，不至于数据量大很多，就运行不起来了。

　　从上面的介绍中可以看出，数据仓库技术可以将企业多年积累的数据唤醒，不仅为企业管理好这些海量数据，而且挖掘数据潜在的价值，从而成为通信企业运营维护系统的亮点之一。正因为如此，

　　广义的说，基于数据仓库的决策支持系统由三个部件组成：数据仓库技术，联机分析处理技术和数据挖掘技术，其中数据仓库技术是系统的核心，在这个系列后面的文章里，将围绕数据仓库技术，介绍现代数据仓库的主要技术和数据处理的主要步骤，讨论在通信运营维护系统中如何使用这些技术为运营维护带来帮助。

面向主题

　　

  

操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。主题是与传统数据库的面向应用相对应的，是一个抽象概念，是在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。每一个主题对应一个宏观的分析领域。数据仓库排除对于决策无用的数据，提供特定主题的简明视图。

集成的

　　数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。

相对稳定的

　　数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。

反映历史变化

　　数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。

 

基本概念：

 

Data Mart：
               数据集市 -- 小型的，面向部门或工作组级数据仓库。
Operation Data Store：
               操作数据存储 — ODS是能支持企业日常的全局应用的数据集合,是不同于DB的一种新的数据环境, 是DW 扩展后得到的一个混合形式。四个基本特点：面向主题的(Subject -Oriented)、集成的、可变的、 当前或接近当前的。

ETL：
             ETL（Extract/Transformation/Load）—数据装载、转换、抽取工具。Microsoft DTS; IBM Visual Warehouse etc.
元数据：
            关于数据的数据，用于构造、维持、管理、和使用数据仓库，在数据仓库中尤为重要。
粒度：
             数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度越小。
分割：
            数据分散到各自的物理单元中去，它们能独立地处理。

 

 

数据仓库的组成

　　1、数据仓库数据库

　　数据仓库的数据库是整个数据仓库环境的核心，是数据存放的地方和提供对数据检索的支持。相对于操纵型数据库来说其突出的特点是对海量数据的支持和快速的检索技术。

　　2、数据抽取工具

　　数据抽取工具把数据从各种各样的存储方式中拿出来，进行必要的转化、整理，再存放到数据仓库内。对各种不同数据存储方式的访问能力是数据抽取工具的关键，应能生成COBOL程序、MVS作业控制语言（JCL）、UNIX脚本、和SQL语句等，以访问不同的数据。数据转换都包括，删除对决策应用没有意义的数据段；转换到统一的数据名称和定义；计算统计和衍生数据；给缺值数据赋给缺省值；把不同的数据定义方式统一。

　　3、元数据

　　元数据是描述数据仓库内数据的结构和建立方法的数据。可将其按用途的不同分为两类，技术元数据和商业元数据。

　　技术元数据是数据仓库的设计和管理人员用于开发和日常管理数据仓库是用的数据。包括：数据源信息；数据转换的描述；数据仓库内对象和数据结构的定义；数据清理和数据更新时用的规则；源数据到目的数据的映射；用户访问权限，数据备份历史记录，数据导入历史记录，信息发布历史记录等。

　　商业元数据从商业业务的角度描述了数据仓库中的数据。包括：业务主题的描述，包含的数据、查询、报表；

　　元数据为访问数据仓库提供了一个信息目录（informationdirectory），这个目录全面描述了数据仓库中都有什么数据、这些数据怎么得到的、和怎么访问这些数据。是数据仓库运行和维护的中心，数据仓库服务器利用他来存贮和更新数据，用户通过他来了解和访问数据。

　　4、访问工具

　　为用户访问数据仓库提供手段。有数据查询和报表工具；应用开发工具；经理信息系统（EIS）工具；联机分析处理（OLAP）工具；数据挖掘工具。

　　5、数据集市（Data Marts）

　　为了特定的应用目的或应用范围，而从数据仓库中独立出来的一部分数据，也可称为部门数据或主题数据（subjectarea）。在数据仓库的实施过程中往往可以从一个部门的数据集市着手，以后再用几个数据集市组成一个完整的数据仓库。需要注意的就是再实施不同的数据集市时，同一含义的字段定义一定要相容，这样再以后实施数据仓库时才不会造成大麻烦。

　　数据仓库管理：安全和特权管理；跟踪数据的更新；数据质量检查；管理和更新元数据；审计和报告数据仓库的使用和状态；删除数据；复制、分割和分发数据；备份和恢复；存储管理。

　　信息发布系统：把数据仓库中的数据或其他相关的数据发送给不同的地点或用户。基于Web的信息发布系统是对付多用户访问的最有效方法。

 

[编辑]

 

数据仓库的步骤

　　1、数据仓库的设计步骤

　　1）选择合适的主题（所要解决问题的领域）。

　　2)明确定义fact表。

　　3)确定和确认维。

　　4)choosing the facts。

　　5)计算并存储fact表中的衍生数据段。

　　6)rounding out the dimension tables。

　　7)choosing the duration of the database。

　　8)the need to tracks lowly changing dimensions。

　　9)确定查询优先级和查询模式。

　　2、数据仓库的建立步骤

　　1）收集和分析业务需求。

　　2）建立数据模型和数据仓库的物理设计。

　　3）定义数据源。

　　4）选择数据仓库技术和平台。

　　5）从操作型数据库中抽取、净化、和转换数据到数据仓库。

　　6）选择访问和报表工具。

　　7）选择数据库连接软件。

　　8）选择数据分析和数据展示软件。

　　9)更新数据仓库 。

 

[编辑]

 

数据仓库和数据集市

　　有关决策支持型数据库的数据集市是面向企业中的某个部门或是项目小组的。一些专家顾问将数据集市的建造描述为建立数据仓库全过程中的一步。首先，一个储存企业全部信息的数据仓库被创建，其中，数据均具备有组织的、一致的、不变的格式。数据集市随后被创立，其目的是为不同部门提供他们所需要的那部分信息。数据仓库聚集了所有详细的信息，而数据集市中的数据则是针对用户们的特定需求总结而出的。

　　而另外一些专家则认为数据集市的建立并不需要首先建立一个数据仓库。在这个模型中，数据直接由事务型数据库转入数据集市中。一个公司可能建立有多个数据集市，而彼此之间毫无联系。

　　这种不在建立数据仓库的基础上创建数据集市的方式会更便宜、更快速，因为它的规模更加易于管理。

　　第二种观点的缺陷在于无法实现最初创建数据仓库的最主要的目的——将企业所有的数据统一为一致的格式。现有的事务处理系统的数据往往是不一致、冗余的。如果首先建立起一个全公司范围的数据仓库，组织就能够获得一个统一关于企业的活动和客户的知识库。如果先建立起一个个独立的数据集市，那么数据仓库的诸多优势都能够得以实现，但是企业远远无法做到对数据的一致的储存。