【数据挖掘导论】——绪论

数据挖掘导论读书笔记之绪论

数据挖掘的前提：数据收集和数据存储技术的快速进步。

数据挖掘是一种技术，它将传统的数据分析方法与处理大量数据的复杂算法相结合。为探查和分析新的数据类型以及用新方法分析就有数据类型提供了令人振奋的机会。

数据挖掘是在大型数据存储库中，自动的发现有用信息的过程。

数据挖掘与知识发现

数据挖掘是数据库中知识发现不可缺少的一部分（knowledge deiscovery in database）KDD,KDD是将未加工的数据转换为有用信息的整个过程。

输入数据：输入各种形式存储，并且可以驻留在几种的数据存储库中，活分布在多个站点上。

数据预处理：将未加工的输入数据转换成适合分析的形式。包括：融合来自多个数据源的数据，清洗数据，以及消除噪声和重复的观测值，选择与当前数据挖掘任务相关的记录和特征。是整个知识发现过程中最费力，耗时的步骤。

后处理：将数据挖掘的结果所揭示的规律结合商业活动管理工具，从而开展或者测试有效的商业活动。使那些有效，有用的结果集成到决策支持系统中。

数据挖掘需要解决的问题

可伸缩

由于数据产生和收集技术的进步，大数据越来越普遍。如果数据挖掘算法要处理这些海量数据集，算法必须是可伸缩的（scalabe）。使用抽样技术或者开发并行和分布算法来提高可伸缩性。

高维性

现在数据通常是具有成千上百属性的数据集。具有时间或者空间分量的数据集也经常具有很高的维度。为底维数据开发的传统的数据分析技术通常不能很好处理高维度数据，此外，对于某些数据分析算法，随着维度（特征数）的增加，计算复杂性迅速增加

异种数据和复杂数据

传统的数据分析方法只处理包含相同类型属性的数据集，或者是连续的，或者是分类的。随着数据挖掘在商务，科学以及其他领域的作用越来越大，越来越需要处理异种属性的技术。如：具有序列和三维结构的DNA数据等。为了挖掘这种复杂对象而开发的技术应当考虑数据间的联系。如：时间和空间的自相关性，图的连通性等

数据的所有权与分布

有时，需要分析的数据并非存放在一个站点或者归属一个机构，二十地理上分布属于多个机构。这就需要开发分布式数据挖掘技术。分布式数据挖掘算法面临的主要挑战包括：如何降低执行分布式计算所需要的通信量，如何有效的统一从多个资源得到的数据挖掘结果，如何处理数据安全性等

非传统的分析

传统的统计方法基于一种假设—检验的模式，即提出一种假设，然后设计实验来收集数据，然后针对假设分析数据。但这一方法效率不高。因此需要自动的产生和评估假设。此外数据挖掘所分析的数据通常不是精心涉及的实验结果，而是数据的时机行样本（opportunistic sample），不是随机样本(random sample)。

数据挖掘的起源

为了迎战上述的挑战，数据挖掘利用了如下领域的思想：

• 统计学的抽样，估计，假设检验
• 人工智能，模式识别，机器学习的搜索算法，建模技术和学习理论
• 最优化
• 进化计算
• 信息论
• 信号处理
• 可视化
• 信息检索
• 数据库系统
• 高性能并行计算技术
• 分布式技术

数据挖掘任务

通常分为两大类：

预测任务：根据其他属性的值，预测特定属性的值。被预测的属性称目标变量（target variable）活因变量（dependent variable）。用来做预测的属性称为说明变量（explanatory variable）或者自变量（independent variable）

描述任务：导出概括数据中潜在联系的模式（相关，趋势，聚类，轨迹和异常），本质上，描述性数据挖掘任务通常是探查性的。需要做后处理技术验证和解释结果

预测建模（predictive modeling）涉及以说明变量函数的方式为目标变量建立模型。有两类预测建模任务：分类（classification）用于预测离散的目标变量；回归（regression）用于预测连续的目标变量。

如：预测web用户是否网购是分类，因为该目标变量是二值的。预测某股票的未来价格是回归的，因为价格具有连续值属性。两项任务都是训练一个模型，是目标变量预测值与实际值之间的误差达到最小。

关联分析（association analysis）用来发现描述数据中强关联特征的模型。所发现的模式通常用蕴含跪着或者特征子集的形式表示。由于搜索通奸是指数规模，关联分析的目标是以有效的方式提取最有趣的模式。

聚类分析（cluster analysis）旨在发现紧密相关的观测值组群，使得与属于不同簇的观测值相比，属于同一簇的观测值相互之间尽可能类似。聚类可用来对相关的顾客分组，找出显著影响地球气候的海洋区域等。

异常检测（anomaly detection）的任务是识别其特征显著不同于其他数据的观测值。这样的观测值称为异常点（anomaly）或离群点（outlier）异常检测算法的目标是发现真正的异常点。而避免错误地将正常的对象标注为异常点。换言之，好的异常检测器必须具有高的检测率和底的误报率。应用包括：检测网络攻击，欺诈等