银行数据仓库体系实践（2）--系统架构

       UML对系统架构的定义是：系统的组织结构，包括系统分解的组成部分，它们的关联性，交互，机制和指导原则，例如对系统群就是定义各子系统的功能和职责，如贷款系统群可能分为进件申请、核额、交易账务、贷后管理、管理台等子系统，对于系统就是定义各模块的功能和层次，例如管理台包括权限管理、用户管理、交易管理、逾期管理、统计分析等功能。

       技术架构是指从技术实现层面描述系统，主要是根据系统架构组成部分确定每层使用什么技术框架，例如中间件、WebService等。

       那对于数据仓库系统群具体可以分为哪些部分以及他们的具体实现技术如何呢？以下是银行数据仓库的系统功能图：

 

                                                                                       图2.1

1、数据源：主要是指行内交易系统、外部采购或合作的第三方数据等3类、包括结构化数据以及非结构化的数据，结构化数据主要是存储在各个行内系统数据库中的表数据，非结构化数据包括图片、语音、文档等类型的数据。

 

2、数据采集：即如何将数据从数据源获取到数据仓库中，就是我们常说的ETL随着数据仓库功能的发展这部分不仅仅包括批量数据获取还包括实时数据流以及数据库数据实时采集：

      （1）     批量采集：主要包括从数据源获取大批量的数据，这是银行数据仓库主要的数据采集方式，批量采集的采集数据频率较低，一般是每日凌晨获取上一天的数据，有些场景也可以每小时采集一次，由于采集的数据量一般较大，对数据源也有IO的影响，因此不建议采集频率太高。批量采集需要支持从关系型数据库、内存数据库、文件中批量获取并加载到数据仓库中。

         在技术实现中，批量采集工具需要能支持多种数据源的采集和加载，批量采集可选择的工具较多，可以采用商业化软件如IBM的DATASTAGE以及INFORMATICA公司的INFORMATICA，也可以采用开源的SQOOP和KETTLE。也可以采用各关系型数据库以及HADOOP自带的文件导出和导入功能。

        （2）     实时采集：指实时同步源系统的数据库数据到数据仓库，这样可以在数据仓库中实时分析数据。实时采集通过专门的工具监控源系统数据库日志进行数据同步，数据源系统无需改造，这种采集方式针对数据统计时效性非常高的场景。

在技术实现中，实时采集工具需要支持从多种类型数据源到多种类型目标数据库的实时同步，这块商业化软件比较成熟，如ORACLE的GOLDENGATE、IBM的InfoSphere Change Data Capture等软件。开源软件中kettle也支持数据库实时同步&#x