智能数据仓库的设计方法
关键字: BI
商业智能的深入实施和应用是中国银行业的必然选择,但是只有把技术的发展与业务需求真正的融合起来,商业智能的实际价值才能得到的体现。 金融改革不断深入的今天,伴随着对数据分析、业务分析和综合分析需求的不断产生,各大商业银行都分别实施了不同层次的商业智能(BI)系统。
但是,从整体市场看,国内几乎找不到真正实施成功的商业智能案例,一些已经实施的项目效果也不是很好,基本上还停留在报表系统的层面。究其原因,主要是商业智能项目的难度根本就不在技术本身,而在于业务。
首先,商业智能项目需要构建一个全面的业务模型,这个业务模型要把银行现有的全部业务种类都包容进去。 其次,原始数据积累严重不足。原始数据资料越丰富、越规范,商业智能分析结果的准确度也就越高。但是银行业尤其是中小商业银行信息化的历史比较短,业务数据也称不上规范。
业务驱动技术应用
目前,由于企业管理的现实情况,商业智能的业务需求实际分为了两个层面:低端的企业报表层和高端的决策分析层。国内银行商业化还处于起步阶段,业务决策分析基本还停留在专家模式,因此业务部门很难在决策分析层面提出多少需求。
而在管理报表层面上,由于过去的企业管理体系一直是围绕报表建立的,业务人员可以提供一整套完整的基于报表的业务需求,甚至有一套十分完整的生成报表的指标体系。
有些中小银行也实施过通用报表平台的软件,在这个基础上对它作重新的规划和定义,使其融入商务智能的思想,由于中小银行的数据源并不复杂和数据量也不大的特点,可省去数据仓库等支撑软件。
三层体系结构
系统由C/S结构的报表设计器、报表流程设计器、查询设计器和在J2EE应用服务器/WEB服务器上运行的报表服务器、查询服务器、服务器管理Web应用(系统管理)构成。在实施上,则要求系统要具备三层体系结构图。
数据层
数据层指的是digiTower 商业智能平台所涉及的各种数据源。数据层包括下列数据库和数据源:
业务报表/业务查询数据池:存放各种与具体业务相关的报表定义/查询定义文件、报表分发流程定义文件、动作组件定义文件、图像等。
工作流数据池:用于存放报表分发流程模板等。
定时数据池:用于存放各种定时服务数据,包括报表分发流程启动时间数据。
审计数据池:存放各种组件的审计数据,包括报表操作、查询操作等。
业务数据源:各种业务数据的数据源,用于生成报表和查询。
服务层
服务层实现所有业务逻辑处理,起到与客户端和数据层进行信息交流和进行必要的业务处理的作用,由J2EE服务器中间件和应用软件业务逻辑组成。
服务层是实现三层结构的核心。
从技术上可分为:
基础引擎:包括报表引擎、查询引擎、定时服务引擎和工作流引擎。
基础组件:由通用组件和基础引擎对应的组件组成,包括审计、各种服务组件、系统管理、审计报表等。
业务报表/业务查询引擎:它介于基础组件和客户端服务之间,是服务层的核心。它检索具体业务的报表/查询定义、报表分发流程定义等并根据要求执行相应的动作。
Services/UDDI:业务报表/业务查询功能的Web Services封装。
界面组件:实现业务报表/查询的展现、系统管理等功能,包括导航组件、界面程序。
单点登陆:由统一认证系统提供的单点登陆组件。
从功能上可以划分为:
报表服务器:实现通用报表服务的功能,包括报表引擎和报表展现、报表查询、统计分析、报表分发四个基础组件。
查询服务器:实现了通用查询服务的功能,包括查询引擎和查询服务基础组件。
工作流服务器:实现了工作流服务的功能,包括工作流引擎和工作流、收件箱两个基础组件。
工作流服务器是实现业务过程自动化的软件环境:工作流是对一整套规则与过程的描述,其目标不仅仅是处理过程,也不仅仅是把事物从一个地方流向另一个地方,而是管理那些引导作业环境如何运作的规则与过程。
定时服务器:实现了定时执行程序的功能,包括定时服务器引擎和定时服务基础组件。
系统管理:实现系统管理、安全审计等功能,包括基础组件中的审计、审计报表、系统管理。
业务应用逻辑:实现与具体业务相关的报表/查询管理和服务的功能,包括业务报表/业务查询引擎、Services/UDDI、导航组件、界面程序。
用户认证:实现单点登陆功能,包括由统一认证系统提供的单点登陆组件。
客户端
实现人机交互及数据表示,采集用户输入的数据、请求,向业务逻辑层发出请求,并显示处理结果。这一层的功能采用GUI(含浏览器)方式实现。
这样构造的系统是一个自动灵活的报表与查询系统,与商业智能的最终目标虽说有一定的距离,但在决策分析需求不能提出的情况下,将现有的管理报表体系作为系统需求的主要来源,具备更为现实的功能。
以此为起点,还必须做好两项工作。首先,对数据资源进行整体规划,对历史数据要进行尽可能完善的数据清洗,提高存量数据的质量。
其次,落实和完善数据分析工作。企业对数据进行优化的目的,是要从中找出最有价值的数据,这些有价值的数据挖掘出来后,如果没有相应的人对其进行跟踪处理,它的价值也就只停留在迅速做出报表的层面了。
商业智能的深入实施和应用是中国银行业的必然选择,但是只有把技术的发展与业务需求融合起来,商业智能的实际价值才能得到真正的体现。
但是,从整体市场看,国内几乎找不到真正实施成功的商业智能案例,一些已经实施的项目效果也不是很好,基本上还停留在报表系统的层面。究其原因,主要是商业智能项目的难度根本就不在技术本身,而在于业务。
首先,商业智能项目需要构建一个全面的业务模型,这个业务模型要把银行现有的全部业务种类都包容进去。 其次,原始数据积累严重不足。原始数据资料越丰富、越规范,商业智能分析结果的准确度也就越高。但是银行业尤其是中小商业银行信息化的历史比较短,业务数据也称不上规范。
业务驱动技术应用
目前,由于企业管理的现实情况,商业智能的业务需求实际分为了两个层面:低端的企业报表层和高端的决策分析层。国内银行商业化还处于起步阶段,业务决策分析基本还停留在专家模式,因此业务部门很难在决策分析层面提出多少需求。
而在管理报表层面上,由于过去的企业管理体系一直是围绕报表建立的,业务人员可以提供一整套完整的基于报表的业务需求,甚至有一套十分完整的生成报表的指标体系。
有些中小银行也实施过通用报表平台的软件,在这个基础上对它作重新的规划和定义,使其融入商务智能的思想,由于中小银行的数据源并不复杂和数据量也不大的特点,可省去数据仓库等支撑软件。
三层体系结构
系统由C/S结构的报表设计器、报表流程设计器、查询设计器和在J2EE应用服务器/WEB服务器上运行的报表服务器、查询服务器、服务器管理Web应用(系统管理)构成。在实施上,则要求系统要具备三层体系结构图。
数据层
数据层指的是digiTower 商业智能平台所涉及的各种数据源。数据层包括下列数据库和数据源:
业务报表/业务查询数据池:存放各种与具体业务相关的报表定义/查询定义文件、报表分发流程定义文件、动作组件定义文件、图像等。
工作流数据池:用于存放报表分发流程模板等。
定时数据池:用于存放各种定时服务数据,包括报表分发流程启动时间数据。
审计数据池:存放各种组件的审计数据,包括报表操作、查询操作等。
业务数据源:各种业务数据的数据源,用于生成报表和查询。
服务层
服务层实现所有业务逻辑处理,起到与客户端和数据层进行信息交流和进行必要的业务处理的作用,由J2EE服务器中间件和应用软件业务逻辑组成。
服务层是实现三层结构的核心。
从技术上可分为:
基础引擎:包括报表引擎、查询引擎、定时服务引擎和工作流引擎。
基础组件:由通用组件和基础引擎对应的组件组成,包括审计、各种服务组件、系统管理、审计报表等。
业务报表/业务查询引擎:它介于基础组件和客户端服务之间,是服务层的核心。它检索具体业务的报表/查询定义、报表分发流程定义等并根据要求执行相应的动作。
Services/UDDI:业务报表/业务查询功能的Web Services封装。
界面组件:实现业务报表/查询的展现、系统管理等功能,包括导航组件、界面程序。
单点登陆:由统一认证系统提供的单点登陆组件。
从功能上可以划分为:
报表服务器:实现通用报表服务的功能,包括报表引擎和报表展现、报表查询、统计分析、报表分发四个基础组件。
查询服务器:实现了通用查询服务的功能,包括查询引擎和查询服务基础组件。
工作流服务器:实现了工作流服务的功能,包括工作流引擎和工作流、收件箱两个基础组件。
工作流服务器是实现业务过程自动化的软件环境:工作流是对一整套规则与过程的描述,其目标不仅仅是处理过程,也不仅仅是把事物从一个地方流向另一个地方,而是管理那些引导作业环境如何运作的规则与过程。
定时服务器:实现了定时执行程序的功能,包括定时服务器引擎和定时服务基础组件。
系统管理:实现系统管理、安全审计等功能,包括基础组件中的审计、审计报表、系统管理。
业务应用逻辑:实现与具体业务相关的报表/查询管理和服务的功能,包括业务报表/业务查询引擎、Services/UDDI、导航组件、界面程序。
用户认证:实现单点登陆功能,包括由统一认证系统提供的单点登陆组件。
客户端
实现人机交互及数据表示,采集用户输入的数据、请求,向业务逻辑层发出请求,并显示处理结果。这一层的功能采用GUI(含浏览器)方式实现。
这样构造的系统是一个自动灵活的报表与查询系统,与商业智能的最终目标虽说有一定的距离,但在决策分析需求不能提出的情况下,将现有的管理报表体系作为系统需求的主要来源,具备更为现实的功能。
以此为起点,还必须做好两项工作。首先,对数据资源进行整体规划,对历史数据要进行尽可能完善的数据清洗,提高存量数据的质量。
其次,落实和完善数据分析工作。企业对数据进行优化的目的,是要从中找出最有价值的数据,这些有价值的数据挖掘出来后,如果没有相应的人对其进行跟踪处理,它的价值也就只停留在迅速做出报表的层面了。
商业智能的深入实施和应用是中国银行业的必然选择,但是只有把技术的发展与业务需求融合起来,商业智能的实际价值才能得到真正的体现。