数据归档管理系统

数据归档管理系统

来源：本站 发布时间:2009-5-16 14:19:51 浏览量： 62

 

概述

 

        从满足监管要求来看，银监会定期或不定期提出的监管要求，需要准备数据；从内部IT审计系统的需求来看，目前内部IT审计系统从各个生产系统直接抽取全量数据，需要建立更加安全、高效、统一的数据采集模式；从业务系统的数据增长来看，随着历史数据不断积累，导致生产系统负载不断增加。从新旧业务系统的数据管理来看，新业务系统上线后，旧系统的下线数据需要管理；从数据生命周期的管理来看，需要建立一套较为规范的历史数据管理策略。

　　上述诸多亟待解决的问题，都需要通过建立一套完善的数据归档管理系统来解决。本方案根据上述需求，采用数据管理平台封装IBM Optim软件实现数据生命周期的管理。

 

需求分析 

 

　　★  实现业务生产数据与下线系统数据自动化的归档与分级存储管理；

　　★  统一外部监管与内部审计数据的采集方式与数据源；

　　★  实现对历史数据的查询；

　　★  具备流程化与自动化能力；

　　★  实现数据生命周期的管理。

 

解决方案

 

　　系统设计原则

　　功能定位准确性，稳定性原则

　　•  功能定位应准确，并确保长时间的稳定。否则，任意后期的变更，都会导致前期数据的重组织或不可用。

　　•  归档系统应使用成熟的产品。应用存在自身的不稳定性，也存在未来的重大变更、升级等可能，都会导致前期数据的不可用或重新组织。

　　•  历史数据的不应与任何应用相关，应仅通过标准接口，提供简单的原始数据，不负责数据的加工处理。

　　存储独立性原则

　　•  数据的存储方式 不应与 具体的应用有关，也不应与存储介质相关，应允许任意迁移（这涉及到数据的编码方式，与文件的组织形式问题）

　　•  平台无关性原则，主机，开放平台应采用一致性的处理方式

　　成本优化原则

　　•  归档系统由于数据量远大于生产系统，应采用通用的压缩功能，以保证存储容量的可控。

　　自动化原则

　　•   一旦归档的策略确定，数据抽取和数据归档的工作尽量通过自动化方式操作，减少人为干预，减少不必要的人机交互过程，降低人工操作不确定因素带来的风险。

 

系统架构

 

        整个架构本着系统设计原则构建，尽量采用成熟工具实现典型功能，减少编程，最大限度提升系统的稳定性和可靠性。系统分为四个层，数据层、工具层、功能层和用户层。

　　数据层

         数据层包括了数据归档管理系统的系统数据库、下线系统数据库、生产业务系统数据库、归档文件及目标业务系统数据库；目标业务的数据库包括外部审计数据库、内部审计数据库和历史数据库等。

         数据归档系统的系统数据库，用于存放系统配置参数、任务信息、数据模型、源数据库和归档文件的版本信息，以及系统用户的权限信息等。

　　工具层

        工具层主要包括了构建系统所需要的主要工具，采用成熟工具尽量减少编程，最大限度地降低软件开发风险，提高系统稳定性、可靠性。本系统设计包括了IBM Optim数据管理工具和数据归档管理平台。

　　IBM Optim作为数据管理工具，主要实现数据抽取、压缩和装载的具体工作。

        数据归档管理平台主要是针对Optim的封装，实现操作过程的自动化，和系统管理的功能，包括针对操作过程的定制，操作版本的管理，操作数据模型的管理，以及数据版本的管理等。

         数据归档管理平台是一个基于WEB的应用，使用户可以通过浏览器方式操作。实现参数配置、任务操作和数据查询等工作，减少用户直接参与的数据操作过程。

具体功能详见下面功能层的阐述。

　　功能层

        功能层是系统功能的具体实现层，有了工具层的支持，还需要具体进行封装，实现系统的设计功能。主要包括，数据归档、数据恢复、数据导出、数据查询和系统管理等主要功能。

　　用户层

　　用户层实现了针对数据归档管理系统不同用户的功能封装　。

　　数据操作人员，主要是具体实现数据归档和数据恢复的技术人员，实现具体任务的提交、执行和监控等；

　　数据访问人员主要是管理数据的使用者，可能来自业务部门、审计部门的人员，根据数据访问权限对数据进行访问；

　　系统管理员是数据归档管理系统的系统管理人员，主要负责数据归档管理系统本身的参数配置、数据归档管理系统流程的设定、用户及权限的设定。

 

归档策略考虑的因素

 

　　数据归档策略是在业务分析和元数据分析的基础上建立起来的。针对业务和元数据的分析能够得到有关数据的业务含义、数据价值、重要性、访问频率、数据生命周期的信息，以及数据的依赖关系，包含了显式的、隐含的，库内的库外的。

　　通过对业务和元数据的全面分析，根据业务需求划分数据范围，再分析每个数据范围的特点，按照业务数据的关键性、价值、数据量和生命周期进行分类，并结合现有的存储系统环境，选择和制定适合企业自身的存储归档流程和策略。

　　一个成功的归档策略需要考虑以下几个方面：

　　•  数据来源分析，需要分析每类数据的数据来源，主题域。决定数据链的形成，因为归档的数据链一旦形成，可能是自动化的过程。

　　•  数据量分析，根据需求能够确定数据范围，根据数据范围和数据来源，可以估计出数据量的大小。数据量的大小决定着存储的大小。

　　•  数据值分析，数据值分析主要是看数据本身的特点，包括动态、静态。数据的更新频率和价值评估。根据分析的结果进行分类，形成自动化的归档策略。

　　•  保存期限分析，每一类的数据都有一个有效的保存期限，这个期限从企业本身来说可能有自己的定义；同时还要考虑到内外部审计需要保存的时间周期。这个时间周期和数据量共同决定着数据存储策略的选择。

　　•  成本分析，归档方案要考虑不断增加的总成本，而不是一次性投入的成本。按照数据量的增长和数据价值的不同，采用不同的存储策略和数据压缩选项，会影响到总成本的大小。