数据仓库与决策支持系统

数据仓库与决策支持系统

数据仓库

数据仓库是面向主题的,集成的,非易失的,随时间变化的数据集合.一般使用面向主题的设计方法.设计数据仓库前需要进行数据集成,包括数据抽取,转换,清理(清洗),装载等操作.

所谓面向主题,主题是指一组决策支持需求的集合,要求进行数据仓库数据模型设计和组织时需要针对特定主题的决策支持需求集进行,数据仓库中必须集成企业或组织机构中多个来源的数据集.面向主题,主题是一个抽象的概念,并非指的是具体的开发工具或者实施平台.

OLTP联机事务处理,是对数据库的日常操作,一般就是一些查询和修改请求,对性能要求较高,要求数据完整性,安全性,系统吞吐量高.

OLAP联机分析处理,是大量历史数据的查询和分析操作,查询访问量比较大,用于宏观分析,对性能不那么敏感,用于辅助企业决策.基于多维数据库的名为MOLAP,基于关系数据库的名为ROLAP,混合型名为HOLAP

数据仓库使用时其中的数据一般不会实时更新,所作出的决策建议一般是基于历史数据的分析挖掘得出的.

多维分析基本操作:钻取和卷起,一个是向更细节的层方向观察,另一个反之;切片和切块实现数据的局部显示;旋转改变一个报告或者页面的维方向,获取不同视角的数据,最简单的旋转例子是交叉.

ODS操作型数据存储

ODS作为操作型系统与数据仓库之间的存在,主要支持包括即时OLAP与全局型OLTP的应用.有观点认为,可以以ODS为基础,在其上建立BMP企业绩效管理系统或者ERP系统.

通常将ODS分为四类:I为秒级更新,建设难度大;II为小时级更新,建设难度低;III为天级更新,隔夜后更新数据;IV不同于前面按更新频率划分,其数据来源更加丰富,除了操作型环境带来的数据之外,也包含数据仓库与数据集市的决策结果与报表信息.

常用挖掘方法

• 关联规则挖掘是用于寻找不同个体之间的联系,不可用于分类.在挖掘前,需要给定两个阈值最小可信度和最小支持度.
• 聚类算法一般为无监督的学习算法,对类别的分析没有明确的前提条件.尝试将数据进行分组,相同的放一组,组内尽量相同,组间尽量不同.分组聚类时不需要提供样本学习,直接对数据进行迭代计算.
• 分类挖掘需要通过已知数据集(样本数据/训练集)训练,建立分类函数构造分类器,然后再输入数据进行分类操作.用到的数据集合有三个训练集,测试集,验证集.

参考

[1]何玉洁, 刘乃嘉. 全国计算机等级考试三级教程-数据库技术[M]. 高等教育出版社. 2020.
[2]Ben Forta. SQL必知必会[M]. 人民邮电出版社. 2020.
[3]史嘉权. 数据库系统概论[M]. 清华大学出版社. 2006.
[4]褚华, 霍邱艳. 软件设计师教程[M]. 清华大学出版社. 2018.
[5]王珊, 陈红. 数据库系统原理教程[M]. 清华大学出版社. 1998.
[6]汤小丹, 梁红兵, 哲凤屏, 汤子瀛. 计算机操作系统[M]. 西安电子科技大学出版社. 2014.