数据分析——数据预处理

内容来源：课程《智能信息处理技术》、周志华《机器学习》

数据预处理

点击 数据预处理各步骤梳理 查看全图

什么是数据预处理

现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。

数据预处理的意义

数据预处理技术可以改进数据的质量，有助于提高其后的决策过程的精度和性能。高质量的决策必然依赖于高质量的数据，数据预处理是知识发现过程的重要步骤。检测异常数据、尽早地调整数据并归约待分析的数据，将在决策过程中得到高回报。

主要的内容

◼ 数据清理
填写空缺，平化噪声，识别、删除孤立点，消除不一致性
◼ 数据集成
集成多个数据库、数据立方体或文件
◼ 数据变换
规范化和聚集
◼ 数据归约
数据集的压缩表示，小得多，但可得到相同或近似的结果
◼ 数据离散化
通过概念分层和数据离散化来规约数据

什么是数据挖掘

数据挖掘(Data Mining)就是从大量的数据中，提取隐藏在其中的，事先不知道的、但潜在有用的信息的过程。数据挖掘的目标是建立一个决策模型，根据过去的行动数据来预测未来的行为。

种类及其应用

数据挖掘任务分为下面两大类。

• 预测任务。这些任务的目标是根据其他属性的值，预测特定属性的值。被预测的属性一 般称目标变量(target variable)或因变量(dependen tvariable), 而用来做预测的属性称说明变量(explanatory variable)或自变量(independent variable)。

  分类(classification)，用于预测离散的目标变量；回归(regression)，用于预测连续的目标变量。例如，预测一个Web用户是否会在网上书店买书是分类任务，因为该目标变量是二值的，而预测某股票的未来价格则是回归任务，因为价格具有连续值属性。两项任务目标都是训练一个模型，使目标变量预测值与实际值之间的误差达到最小。预测建模可以用来确定顾客对产品促销活动的反应，预测地球生态系统的扰动，或根据检查结果判断病人是否患有某种疾病。

• 描述任务。其目标是导出概括数据中潜在联系的模式（相关、趋势、聚类、轨迹和异常）。本质上，描述性数据挖掘任务通常是探查性的，并且常常需要后处理技术验证和解释结果。

  关联分析(association analysis) 用来发现描述数据中强关联特征的模式。所发现的模式通常用蕴涵规则或特征子集的形式表示。由于搜索空间是指数规模的，关联分析的目标是以有效的方式提取最有趣的模式。关联分析的应用包括找出具有相关功能的基因组、识别用户一起访问的Web页面、 理解地球气候系统不同元素之间的联系等。

  聚类分析(cluster analysis) 旨在发现紧密相关的观测值组群，使得与属于不同簇的观测值相比， 属于同一簇的观测值相互之间尽可能类似。聚类可用来对相关的顾客分组、找出显著影响 地球气候的海洋区域以及压缩数据等。

  异常检测(anomaly detection) 的任务是识别其特征显著不同于其他数据的观测值。这样的观测值称为异常点(anomaly)或离群点(outlier)。异常检测算法的目标是发现真正的异常点，而避免错误地将正常的对象标注为异常点换言之，一个好的异常检测器必须具有高检测率和低误报率。异常检测的应用包括检测欺诈、网络攻击、疾病的不寻常模式、生态系统扰动等。