基于ODS技术的政务信息系统方案探讨

对于政务信息系统需求分析来说,很多政务问题既不是联机事务处理(OLTP),又算不上是高层决策分析(DSS),而是一个部门中层管理者经常要解决的日常管理

和控制的决策问题;导致在政务信息系统建设过程中,所需处理的数据经常不能明确地划分成操作型或分析型。

本文探讨利用ODS(操作数据存储)技术来弥补了基于DB(数据库)-DW(数据仓库)两层体系结构的政务信息系统中存在的不足,使各级政务管理人员能更加有效地

利用信息资源,满足了数据处理的多层次要求,将电子政务分析决策系统所需数据从日常运行环境中分离出来,使用户能够方便地提取所需要数据,同时又不干

拢数据库的正常运行。

一、基于DB、DW、ODS的政务信息系统方案比较。

随着政务信息化建设的内部发展需要和外部竞争压力的不断增加,政府对于信息系统决策支持性能的需求也在逐步增大。由于政务数据的处理需求是多层次的,

从而要求政务信息体系也具有较丰富的层次,但是,体系化结构的多层次,会使层次间的界限模糊,政务系统建设以及维护的成本也就越高。

政务信息系统方案的确定以实用性和健壮性作为建设的原则。政务信息系统方案目前可划分为基于DB的政务系统,基于DW的政务系统和基于ODS的政务系统。

要根据政务系统建设的需求,选择一套合适的方案,需要对上面的三中政务系统方案的优缺点作全面的分析和了解后,才能决定。

基于DB的政务系统。此政务系统是面向应用的联机事务处理的,其处理的数据是当前各分散业务的细节数据,此系统不能提供集成、统一的数据环境,数据共享

程度低,不能将各业务数据之间的内丰关联关系等信息发掘出来,只能满足业务操作使用,不能提供决策支持环境。

基于DW的政务系统。此政务系统主要是面向分析、高层决策支持的,能够提供集成、统一、面向主题的数据环境,一定量的数据源是建立数据仓库的基础。

如果系统内部没有积累足够的历史数据(一般需5-10年的数据),那么数据仓库的投资在短期内将很难见效;同时由于追求高层决策能力最终会导致系统的使用率降低。

而目前政务信息系统在系统建设规模、即时OLAP的数据要求等方便都没有完全具备采用数据仓库方案的条件,因此目前数据仓库系统并不一定是最佳方案。

基于ODS的政务系统。ODS是基于数据分析所提出的面向主题的全局一致数据环境概念,为政务建设提供了多层次的信息处理环境,并建立起DB-ODS-DW三层

体系结构。其中,ODS作为一个中间层,一方面包含全局一致的、细节的、当前或接近当前的数据,可以进行全局联机操作型处理;另一方面,它是一种面向

主题的、集成的数据环境,且数据量小,适用于辅助完成日常决策的数据分析处理。目前各级政务大都已经建立了较为完善的数据库应用系统,如果要政府完全

放弃这些应用系统,需要很大的重复投资。所以,从这些成功的应用系统中抽取数据来建立ODS,并最终形成一个完善的应用体系结构的技术路线更为可行。因此

当前政务信息系统的最佳选择是ODS解决方案。

二、基于ODS的政务信息系统设计

基于ODS的政务系统的主要包括操作数据库、ODS数据库,多维数据库,数据采集和数据呈现等几部分,系统采用多层结构设计。

三、ODS系统设计主要包括以下几个部分:

1.ODS数据抽取转换层

数据转换层由各种转换工具及抽取程序组成,主要完成从源数据系统到ODS的数据转换,净化和载入。

2.ODS数据访问中间件

ODS系统中间件的一个关键组成部分就是网络中间件。中间件的主要作用是提供用户和ODS系统数据之间的无缝连接,同时还提供了系统应用程序接口,允许应用

程序同本地或异地ODS系统进行通信。另一方面,在DB-ODS-DW三层结构中,中间件也是将ODS中的信息与DW系统中的信息相关联的一条途径。

 3.ODS系统数据模型

ODS系统的目标是在不调整原有系统的情况下,提供一个适应即时OLAP分析及报表输出汇总的统一的数据源。ODS中的主要数据来源是业务处理系统,它不是

对数据简单地再存储,而是根据信息的主题和分析需要进行统一定义和组织,并建立元数据(Metadata)来管理和控制进入ODS的数据,保证数据的时效性和一致性。

(1)主题的确定

ODS所建立的全局一致的集成数据环境是围绕主题进行组织,主题对应某一分析领域的分析对象。面向主题的数据组织分为两个步骤;抽取主题以及确定每个主题所应

包含的数据内容。主题的抽取按照分析的要求来确定。

(2)数据粒度与分割

粒度层次划分。ODS设计中的一重要问题是决定ODS的粒度层次,粒度层次划分适当与否将直接影响到数据仓库中的数据量和所适合的查询类型。确定ODS中的粒度划分

时,可以通过估算数据行数和所需要的存储单元数来确定是采用单一的粒度是轻度还是多重粒度(推荐使用三重粒度结构,最低级的粒度是详细数据;第二级的粒度

是轻度总结数据;第三级粒度是高度总结数据),以及粒度划分的层次。

数据分割策略。数据分割是OBDS设计的另一项重要内容,是提高数据仓库性能的一项重要技术。数据分割是指把逻辑上是统一整体的数据分割成较小的,

可以独立管理的物理单元进行存储,以便于重构,重组和恢复,还可以提高创建索引和顺序扫描的效率,使数据仓库的开发人员和肪在使用上具有更大的灵活性。

设计数据分割最重要的是选择适当的分割标准。按时间分割是最普遍的,因为数据仓库在获取数据时一般是按时间顺序进行的,同一时间段的数据可以连续获得

而数据仓库的数据综合经常在时间维上进行,因此按时间进行数据分割简单易行。另外也可以按政务类型对数据进行分割。在大多数情况下,数据分割采用的标准不是

单一的,往往是多个标准的组合。对于政务管理系统的数据分割标准可以从以下几个因素考虑;数据量、数据分析处理的实际情况、复杂程序以及粒度划分策略。

(3)数据模板型设计

数据结构定义。ODS中的数据结构是在现有政务系统数据结构图基础上,针对管理信息的特征,对数据的名称、类型、描述及关联等进行的重新组织和定义,主要包括:

统一数据类型,调整数据长度的增加转换时间属性。

数据组织方式。ODS系统采用实视较长和实表作为数据的基本组织方式。实视图是指根据某种视图定义,将来自不同数据源的数据预先经过转换、过滤和集成

等操作,使该视图最终含有大量数据,并存储数据仓库的一张表中。实视图在ODS中是作为基表存在的,从广义上说,ODS中有数据都可以看作是以实视图

的方式存储的。采用实视图作为ODS中数据存储的基本方式,有利于提高ODS的查询性能。实表是整合和集成后业务数据存储方式。

ODS系统中存在两种形式的实视较长,一种实视图是作为ODS中的基表而存在的,其数据来源于操作数据库DB,经过过滤、转换和综合后,阳终存放

在数据仓库中;另外一种是在这些基表实视图的基础上,为提高系统查询性能而生成的一些导出实视图,如不同综合级别粒度的实视图和数据分割实视图。

(4)元数据

ODS的元数据包括了对整个数据仓库环境(ODS、多维数据库、数据采集和联机刷新系统)的描述,分为数据字典和数据处理规则两部分。ODS,多维数据库

的设计、数据采集及联机刷新系统的开发均在元数据的控制下进行,从而通过元数据记录了一份关于数据库的层次定义。数据处理规则包括源数据到ODS的映像、

数据转换和清理规则,大部分为文字性资料,是数据采集和联机刷新系统开发的指导原则。

(5)多维数据集

ODS的多维数据集是实现OLAP(联机分析处理)的数据引擎。在理论上,数据仓库模型就是多维逻辑视图,其数据的物理存储形式可以分为基于多维数据空(空间超立方体)

和基于关系数据库(由关系型事实表和维表组丰)两种方式。

基于关系数据库的多维模型则以广泛应用的RDBMS为基础,在技术成熟度及各方面的适应性上较多维数据库有一定的优势,而且灵活性较好,可以动态定义统计或

计算方式。基于上述考虑,ODS的多维数据集应以基于关系数据库的方式建立,用事实表和维度表来表达数据的多维关系。

多维数据集的结构由度量值及维度定义。其中维度是分类的、有组织的层次结构,可以理解为分析数据的角度;度量值是所分析的多维数据集的中心值即用户重点

查看的数据。

多维数据集架构有两种常见的类型:星形和雪花形。在星形架构中,每个维度表均联接到事实数据表上;在雪花形架构中,有一个或多个维度表联接到其他维度表,

未联接到事实数据表中的维度表对应于有多个维度表的维度。

(6)数据集成

ODS的数据抽取、集成过程涉及到多个业务系统的数据库环境,并根据各自的需求进行数据调整,在所有的数据键值里增加转换时间属性,在适当的位置增加汇总

或计算产生的数据,根据多维分析的需要人为地增加数据间的关系等。

数据抽取。ODS系统的数据抽取过程可以分为首次抽取和首次装载完成后的数据刷新两个阶段,这两个装入数据的内容及装入方法都有所不同。

数据首次抽取。数据首次摄取是在ODS的记录系统定义完成后,按定义从原来操作数据库的记录系统中抽取数据,进行转换、集成后装入到ODS。ODS的数据

初装是一个逐步调整的过程,因为ODS面对的分析处理虽然较为固定,但也不能完全预测,其模式在数据初装过程中可能需要做一些变化,如果数据结构重组

记录系统定义的改变,转换规则调整等。需要在操作数据库DB数据的抽取装入过程,逐步调整ODS结构定义和转换规则,使ODS数据达到相对的结构合理和稳定。

数据刷新抽取。一旦ODS系统完成数据初装,再向ODS传道的就是系统操作数据库中变化了数据了。数据初装完成后,整个ODS装入数据的过程都属于追加

阶段,它是一个长期的数据装入过程。这一阶段的主要问题是怎么捕捉各应用数据系统中变化莫测的数据,以便向ODS系统中输入。变化的数据是指数据从操作数据

库DB向ODS环境流动以改变ODS记录的数据,其流动的原因在于系统发生的变化要反映在ODS数据库中。ODS数据库捕捉变化数据采用ODS数据库服务器上

运行机制的定时刷新抽取程序在DBMS级捕捉数据的变化,这种变化由处理程序实时向ODS抽取追加。

三、结论

本文提出了一种基本ODS技术的政务信息系统建设的方案,在和基于DB、DW的政务系统比较后,介绍了此方案的优点,并给出了一个政务系统的结构调;且重点对ODS

系统设计及实现方法做了较详细介绍,希望此文能对相关政务信息系统建设起到抛砖引玉的作用。

 

 

阅读更多
个人分类: ORACLE
想对作者说点什么? 我来说一句

IBM政务信息服务和数据交换平台

2009年08月07日 5.35MB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭