第十四章 数据仓库与数据挖掘

第十四章 数据仓库与数据挖掘

数据仓库

数据仓库和数据库的区别：https://blog.csdn.net/maiduiyizu/article/details/80371410
数据仓库是一个面向主题的、集成的、非易失的、且随时间变化的数据集合，用来支持管理人员的决策。
目的：根据决策需求对企业的数据采取适当的手段进行集成，形成一个综合的、面向分析的数据环境，用于支持企业的信息型、决策型的分析应用。
特性：面向主题性、集成性、不可更新性、时间特性等。

粒度：综合级别。它影响到数据仓库的数据量以及系统能回答的查询的类型。
粒度小，细节就多，能回答的查询就多。粒度大，细节就少，能回答的查询的就少。

操作型数据存储的目的：支持一些特殊的应用功能：即时联机分析应用和全局型联机分析应用。

ODS

• ODS I：更新频率为秒级。
• ODS II：更新频率为小时级。
• ODS III：更新频率是天级。
• ODS IV：根据数据来源方向和类型区分。

数据集成

• 抽取
• 转换
• 清理
• 装载

数据仓库数据的维护策略

• 实时维护：数据变化时更新
• 延时维护：数据变化时先不管，等要查询的时候再更新
• 快照维护：定期更新

OLAP的实现方式

• 基于多维数据库的OLAP（MOLAP）
• 基于关系数据库的OLAP（ROLAP）
• 混合型的OLAP（HOLAP）

数据挖掘

步骤：

• 数据准备
  • 数据选取
  • 数据预处理：消除噪声、计算缺值数据等。
  • 数据变换
• 数据挖掘
• 结果解释评估

挖掘方法：

• 关联规则挖掘
• 分类挖掘
• 聚类挖掘
• 时间序列分析