ORACLE 数据仓库概念

最新推荐文章于 2022-07-08 02:51:20 发布

congju4884

最新推荐文章于 2022-07-08 02:51:20 发布

阅读量150

点赞数

目前来说，数据仓库架构比较成熟并已经形成理论的主要有两个，一个是Corporate Information Factory，简称CIF，中文一般翻译为企业信息工厂，代表人物是Bill Inmon。另一个是Mutildimensional Architecture，简称MD，中文一般翻译为多维体系结构，代表人物是Ralph Kimball。

企业信息工厂主要包括集成转换层（Integrated and Transformation Layer）、操作数据存储（Operational Data Store）、数据仓库（Enterprise Data Warehouse）、数据集市（Data Mart）、探索仓库（Exploration Warehouse）等部件。

多维体系结构分为后台（Back Room）和前台（Front Room）两部分。后台主要负责数据准备工作，称为数据准备区（Staging Area），前台主要负责数据展示工作，称为数据集市（Data Mart）。而数据仓库是一个虚拟的部件，它指的是全部数据集市的集合。

两个数据仓库架构各有优缺点，一种比较流行的做法是合用两种架构，即建立CIF的数据仓库和MD的数据集市。

浅析企业信息工厂

数据仓库领域里，有一种构建数据仓库的架构，叫 Corporate Information Factory，中文一般翻译为“企业信息工厂”。企业信息工厂的创始人是数据仓库之父Inmon。

企业信息工厂主要包括集成转换层（I&T）、操作数据存储（ODS）、数据仓库（EDW）、数据集市（DM）、探索仓库（EW）等部件。这些部件有机的结合在一起，为企业提供信息服务。

集成转换层的目的是将来自操作型源系统的数据集成转换到数据仓库中，它通常由一组程序组成，而其它部件如数据仓库和数据集市等则主要由数据组成。当业务数据来源多，业务复杂时，集成转换层会建立一些临时表，为数据处理提供方便。这时，集成转换层包括程序和数据，也称数据准备区（Data Staging Area）。通常中等规模及以上的数据仓库系统都会建立数据准备区。

操作数据存储（ODS）是建立在数据准备区和数据仓库之间的一个部件。用来满足企业集成的、综合的操作型处理需要。例如，出尽可能实时的集成的操作报表等需求。一般，也称操作数据存储是用来满足企业战术决策的需要。操作数据存储是个可选的部件。

数据仓库是企业信息工厂的核心部件，用来保存整个企业的数据。一般，也称数据仓库是用来满足企业战略决策的需要。数据仓库的数据来自数据准备区和操作数据存储。

数据集市是为了满足企业特定部门的分析需求而专门建立的数据的集合。数据集市的数据来源是数据仓库。企业信息工厂中的数据集市一般来说是非规范化的、定制的和汇总的。而多维体系架构中的数据集市分为两种，分别是原子数据集市和聚集数据集市。一般来说，企业信息工厂中的数据集市相当于多维体系架构中的聚集数据集市。

探索仓库或数据挖掘仓库的建立主要是为了解决大型查询，提高数据仓库的效率。当有探索或挖掘需求时，会从数据仓库导出一部分数据提供给他们操作。

企业信息工厂中的数据流向一般是从源系统到数据准备区到操作数据存储到数据仓库到数据集市。当分析人员在数据仓库或数据集市中得出分析结论后，会有信息的回流。这种信息回流有可能是物理数据的回流，也可能是直接改变业务部门的策略，总之，要将分析的结果应用起来。通过这种信息的回流，企业信息工厂的不同部件可以不断的相互调整，最终找到一种平衡。这也是称为企业信息工厂的原因。

浅析多维体系结构

数据仓库领域里，有一种构建数据仓库的架构，叫Multidimensional Architecture（MD），中文一般翻译为“多维体系结构”，也称为“总线架构”（Bus Architecture）。多维体系结构的创始人是数据仓库领域中最有实践经验的Kimball博士。

多维体系结构主要包括后台（Back Room）和前台（Front Room）两部分。后台也称为数据准备区（Staging Area），是MD架构的最为核心的部件。在后台，是一致性维度的产生、保存和分发的场所。同时，代理键也在后台产生。

前台是MD架构对外的接口，包括两种主要的数据集市，一种是原子数据集市，另一种是聚集数据集市。原子数据集市保存着最低粒度的细节数据，数据以星型结构来进行数据存储。聚集数据集市的粒度通常比原子数据集市要高，和原子数据集市一样，聚集数据集市也是以星型结构来进行数据存储。前台还包括像查询管理、活动监控等为了提供数据仓库的性能和质量的服务。

在多维体系结构中，所有的这些基于星型机构来建立的数据集市可以在物理上存在于一个数据库实例中，也可以分散在不同的机器上，而所有这些数据集市的集合组成的分布式的数据仓库。

数据仓库架构，是IT架构的一个分支，随着数据在企业的核心作用的增强，数据仓库的架构日益重要。数据仓库架构由于其技术选择非常广泛，看上去复杂，不过背后有一套比较稳定的思路，这也是数据仓库架构设计的一个要点，稳定中蕴含变化，变化中蕴含稳定。

总体来说，数据仓库架构分成两大块，一是硬件架构，二是软件架构。硬软架构又可以分成封闭式和开放式。封闭式硬件架构代表厂商有teradata，其硬件是专属的，必须使用特殊的硬件才能运行。开放式硬件架构的代表有oracle，可以运行在各种硬件上，不过开放和封闭之间的界限也逐步的融合，oracle也开始打包hp的专属硬件来推广其dw的方案，而teradata也开始用基于suse的os可运行的硬件上提供其dw产品。封闭式硬件好处是开箱即用，经过厂商的严格测试，保障性比较高，开放式硬件则需要企业具备很强大的技术实力，能够有一支具备硬件，存储，操作系统综合知识和能力的团队，在组合成一套可以运行dw软件的基础平台，并且在发现问题的时候要能很快速的定位问题的原因并解决。

数据仓库的软件架构选择更加丰富。从数据库软件，etl软件，展现软件，数据挖掘软件，每一种类型里面都具备非常多的选择。

这些软件的选择是架构设计的一部分，架构设计的重要核心一部分是综合这些软件的一套思路，在一套dw架构设计的思路下，软件可以很灵活的进行选择。

数据仓库架构设计的出发点是什么？需要解决哪些问题？

所谓架构，好比大厦，好的设计大厦具备很好的抗震，抗自然灾害能力，框架式建筑能够重新打造内部结构。而数据仓库架构也是解决类似的问题，其实很多数据仓库在开始起步的时候是不谈架构的，本来就是小作坊，无须谈到架构这个高度。但是如果要考虑建设一个能支撑容纳5-10年业务的时候，架构的好坏就体现出来了。

一个好的架构其实就是经验的沉淀物，架构是在理清楚数据仓库的基本的任务，并能让这些任务高效低成本的实现。举个简单的例子来理解一下，数据仓库中同步数据和汇总数据的依赖模块非常之多，如果其中若干模块出错，该如何处理？如果架构设计不好，就会陷入维护人员不断的寻找问题，清理现场，手工调度等问题出现，场面应该十分混乱。好的架构首先是模块化，模块内部具备自动清理现场功能，而模块间则具备自动断点重新启动功能，在模块常规出错的时候，能依靠系统自助解决问题，同时能把处理问题的过程记录下来供后续分析。这样的架构能够极大的提升维护的效率，减轻维护人员的维护量。整个dw系统也具备了抗异常能力。

数据仓库的架构设计，有时候一个好的架构设计的出发点往往来源于当前系统的缺陷。如何面对当前系统的缺陷是架构能否持续发展的一个关键点之一。业界存在很多对商业，开源etl工具的评测，那么这些评测要点应该从哪些方面进行才能甄别出适合企业的工具呢？

1.成本。成本永远是企业关心的一个核心问题，特别在如今经济寒冬，更是如此。

2.效率。能否高效的处理海量的数据是一个基础要素，搞数据仓库的都知道，数据量永远是一个经常被拿出来讨论的话题。

3.线性扩展。能支持线性扩展的系统在计划支撑多年的系统中特别重要，可以非常方便的做出年度预算。

4.协同工作。解决多人协同开发问题。

5.调度。能否很方便的一目了然的看到整体调度，站在一个非常高的高度来管理各种数据流。

6.兼容性。能否兼容各种异构数据。

7.准确的监控系统。

8.高效的开发框架。

数据仓库的物理架构，包含硬件物理架构和软件物理架构。硬件物理架构包含集中式和分布式2中，在企业里面都有运用。

集中式硬件物理架构偏向于使用非常power的小型机或者大型机，非常高端的海量存储，管理简单，在不计投入的情况下性能也能满足企业需求。

分布式硬件物理架构目前非常流行，特征是采用价格低廉的中低端机器组成计算集群，不同的技术驱动下，在share nothing的架构下可以采用本机的硬盘，在share everything的架构下偏向使用集中存储，分布式集群在网络上的要求比较高，扩展性比较好，配合好的软件可以达到线性扩展的要求。