数据挖掘学习笔记（一）

1        引论

1.1   为什么进行数据挖掘

1.1.1           迈向信息时代

数据挖掘把大型数据集转换成知识，帮助我们应对当代的全球性挑战。

1.1.2           数据挖掘是信息技术的进化

数据挖掘可以看做信息技术自然进化的结果。数据库和数据管理产业在一些关键功能的开发上不断发展：数据收集和数据库创建(包括数据存储和检索、数据库事务处理)和高级数据分析(包括数据仓库和数据挖掘)。

1.2   什么是数据挖掘

作为一个多学科领域，数据挖掘可以用多种方法定义。

许多人把数据挖掘视为另一个流行术语数据中的知识发现(KDD,Knowledge Discovery in Database)的同义词，而另一些人只是把数据挖掘视为知识发现过程中的一个基本步骤。知识发现过程由以下步骤的迭代序列组成：

(1)    数据清理(消除噪声和删除不一致的数据)

(2)    数据集成(多种数据源可以组合在一起)

(3)    数据选择(从数据库中提取与分析任务相关的数据)

(4)    数据变换(通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式)

(5)    数据挖掘(基本步骤，使用智能方法提取数据模式)

(6)    模式评估(根据某种兴趣度度量，识别代表知识的真正有趣的模式)

(7)    知识表示(使用可视化和知识表示技术，向用户提供挖掘的知识)

步骤1~4是数据预处理的不同形式，为挖掘准备数据。数据挖掘步骤可能与用户或知识库交互。有趣的模式提供给用户，或作为新的知识存放在知识库中。

图1 数据挖掘视为知识发现过程的一个步骤

这种观点把数据挖掘看做知识发现过程的一个步骤，尽管是最重要的一个步骤，因为它发现用来评估的隐藏模式。然而，在产业界、媒体和研究界，“数据挖掘”通常用来表示整个知识发现过程。因此，我们采用广义的数据挖掘功能的观点：数据挖掘是从大量数据中挖掘有趣模式和知识的过程。数据源包括数据库、数据仓库、Web、其他信息存储库或动态地流入系统的数据。

1.3   可以挖掘什么类型的数据

1.3.1           数据库数据

数据库系统，也称数据库管理系统(DBMS)，由一组内部相关的数据(称做数据库)和一组管理和存取数据的软件程序组成。软件程序提供如下机制：定义数据库结构和数据存储，说明和管理并发、共享或分布式数据访问，面对系统瘫痪或未授权的访问，确保存储的信息的一致性和安全性。

1.3.2           数据仓库

数据仓库是一个从多个数据源收集的信息存储库，并放在一致的模式下，并且通常驻留在单个站点上。数据仓库通过数据清理、数据变换、数据集成、数据装入和定期数据刷新来构造。