一、概述
商业智能项目最重要的就是解决各个业务系统间数据整合的问题,消除信息孤岛,为企业管理人员提供统一的数据查询和报表展示功能,能够进行多维度的数据分析和数据挖掘,对企业发展起到指导作用。
1.商业智能的实施方法:
1)项目规划:前期准备、调研、分析等工作,逻辑模型的设计等。
2)系统设计与实现:系统体系结构、数据库、ETL的设计,前端应用的开发,元数据管理等。
3)系统调优:逻辑、模型的调整,性能的调优。
4)系统运行维护:编写系统运维手册和用户使用手册,培训教材等文档。
2.商业智能的实施步骤:
1)定义需求:需求分析是BI项目最重要的一步,需要描述项目背景与目的、业务范围、业务目标、业务需求和功能需求等内容
2)数据仓库模型建设:系统设计开发之前,由业务人员和设计人员共同参与概念模型的设计;在系统设计开发时,由业务人员和设计人员共同参与逻辑模型的设计;最后设计人员根据逻辑模型进行物理模型的设计。设计人员通过和业务人员合作,来明确业务需求,深刻理解业务,确保模型符合业务需求。
3)数据抽取、清洗、转换、加载(ETL):将数据从各个业务系统中抽取出来,经过数据清洗,检查数据质量,处理异常数据,并将数据转化为统一的格式,再进行数据转换,对数据进行聚合等计算和处理,最后加载到数据仓库的过程。
4)建立BI分析报表:前端报表系统通过对数据仓库中数据的分析、挖掘,为企业的决策层提供数据支持,使他们可以从各个角度、不同粒度,以不同方式了解企业的运营情况及核心数据,为企业决策提供有力支持。
二、数据仓库的理论知识
1.数据仓库的定义:
数据仓库是一个面向主题的、集成的、稳定的、反映历史变化的、随着时间发生变化的数据集合。主要用来支持企业管理人员的决策分析。
其中
1.1.面向主题
普通的操作型数据库主要是面向事务,而数据仓库中的数据一般按照主题进行划分,如“客户主题”、“产品主题”、“财务主题”等,客户主题包括:客户基本信息、客户信用信息、客户资产信息等内容。
1.2.集成性
一般包括两个方面的集成
1.2.1.数据的集成
例如在传统数据库中关于李雷的信息,如出生日期、工作地点、婚姻状况等在多张表上,而数据仓库中则是将其整合到一起。
1.2.2.编码的集成
例如在不同源数据表中,对性别的编码分别为:m/f、男/女、0/1,到数据仓库中则要将其统一,例如都以0/1表示。
1.3.稳定性
一旦数据进入到数据仓库,一般会被长期保留,不进行任何修改和删除操作。
1.4.反应历史变化
一般数据仓库中数据表都有时间键,以表明数据的历史时间信息。通常数据仓库中数据保存期限为5~10年
2.数据仓库和传统数据库的区别
2.1事务型处理数据和分析型处理数据的区别:
事务型:对性能要求严格
事务驱动的
主要面向应用
主要存储即时性、细节性的数据
数据可更新
分析型:对性能要求较高
分析驱动的
主要面向决策分析
主要存储历史性、汇总性的数据
数据不更新
2.2数据库生产系统和数据仓库决策系统的区别:
数据库: 面向应用、事务
实时性高
数据检索量小
只存储当前数据
访问频率高
响应时间短,基本是实时
用户数量大
数据仓库:面向主题、分析型
实时性要求不高
数据检索量大
存储大量历史数据,包括当前数据
访问频率不高
响应时间要求不高,可为几秒或更长
用户数量相对小
ODS系统
ODS分为ODS数据缓冲区和ODS统一信息视图区。
1.ODS数据缓冲区
ODS数据缓冲区是源数据流过的第一个存储区,将各个业务系统的数据抽取出来,并加载到ODS数据缓冲区,实现了统一的、全局的企业数据平台,为数据抽取、转换、加载提供了基础条件。数据量大的可以采用增量抽取,对经常变化的数据可以采用全量抽取。ODS数据缓冲区具有实时性。
2.ODS统一信息视图区
ODS统一信息视图区是有选择地集成各类业务源数据,经过ETL操作,以数据主题域为基础,对数据进行分类和组织,使用户能通过统一信息视图区获得关于某一主题的实时性(近期的)数据。
简而言之,ODS统一信息视图区可以理解为临时的数据仓库,可以向用户提供近期数据以供查询及报表展示,而ODS数据缓冲区则一般只进行简单的汇总、计算,供ODS统一信息视图区和数据仓库使用。
联机分析处理OLAP
概念:根据用户需求进行的联机数据分析,包括对数据仓库的分析,是业务分析人员、中层管理人员、企业领导者从多角度对企业数据进行深入理解的过程。
一、度量值与维
以商品销售为例,衡量商品销售效果的数据可称为度量值,如销售额、成本、利润。但是我们关注这些值的时候还要关注什么呢?那就是维度,比如时间、商品类别、品牌等,拿销售额来说,关注销售额的时候,总要有一个明确的范围吧,是今年一月份的还是第一季度的,是鼠标的销售额还是键盘的还是所有外设类的,是哪一款鼠标的销售额,哪个品牌的,诸如此类,在关心度量值的时候,可以入手的角度,就叫做维度。
那么接下来分别指出几个概念
1.维度:用来对数据进行分类的结构和人们观察业务情况的角度,如上述的时间、商品类别。
2.维度的层次:根据维度的细节程度不同,划分出的一类属性,是维度中预先定义的不同级别,如日期维度拥有年、季度、月、日的层次。
3.类别:是维度的层次上各项的取值,比如月份层次的类别有一月、二月等。
(未完)