数据挖掘——第三章数据预处理

最新推荐文章于 2024-11-14 00:00:00 发布

Yi_cAt

最新推荐文章于 2024-11-14 00:00:00 发布

阅读量479

点赞数

分类专栏：数据挖掘文章标签：数据挖掘机器学习 python

本文链接：https://blog.csdn.net/yi_cat/article/details/126534440

版权

数据挖掘专栏收录该内容

3 篇文章 2 订阅

订阅专栏

《数据挖掘》—— 第3章数据预处理

文章目录

第3章数据预处理

第3章数据预处理

3.1 数据预处理：概述

数据质量：为什么要对数据预处理

数据质量涉及许多因素：

准确性（accuracy）：数据是否正确，是否准确；
完整性（completeness）：数据是否有记录，是否可获取；
一致性（consistency）：数据的命名约定、数据代码或输入格式是否一致；
时效性（timeliness）：数据是否及时更新；
可信性（believability）：数据有多大可能是准确的，多少数据是用户信赖的；
可解释性（interpretability）：数据是否容易理解。

数据预处理的主要任务

数据清理（data cleaning）

填写缺失值，光滑噪声数据，识别或删除离群点，并解决不一致性来“清理”数据。

数据集成（data integration）

集成多个数据库、数据立方体或文件，需要采取措施避免数据集成时的冗余。

数据归约（data reduction）

得到数据集的简化表示，它的规模要小得多，但能够产生同样的（或几乎同样的）分析结果。包括维归约（dimensionality reduction）和数值规约（numerosity reduction）；
维归约，使用数据编码方案，以便得到原始数据的简化或“压缩”表示。例如，小波变换和主成分分析（数据压缩技术），属性子集选择（去掉不相关属性）和属性构造（从原属性集到处更有用的小属性集）；
数值规约，使用参数模型（例如，回归和对数线性模型）或非参数模型（例如，直方图、聚类、抽样或数据聚集），用较小的表示取代数据。

数据变换（data transformation）

规范化、数据离散化；
概念分层

3.2 数据清理

缺失值

处理方法

忽略，仅当某一元组有较多缺失属性时适用；
人工填写，费时费力；
用一个全局常量填充，如使用字段“未知”作为一个新类，不太可靠；
用属性的中心度量（如均值或中位数）填充；
用与给定元组数同一类的所有样本的均值或中位数填充；
最常用方法：用最可能的值填充，使用基于推理的工具或算法确定，如决策树和贝叶斯推理。

方法（3）~（6）使数据诱骗，填入的值可能不正确。然而，方法（6）是最流行的策略；与其他方法相比，它使用已有数据的大部分信息来预测缺失值。

噪声数据

噪声（noise）：被测变量的随机误差或方差。

处理方法

分箱（binning）

通过考察数据的“近邻”来光滑有序数据值。这些有序的值分布到一些“桶”或箱中。由于分箱方法考察近邻的值，因此它进行局部光滑；
对于用箱均值光滑，箱中每一个值都被替换为箱中的均值；类似地，还有用箱中位数光滑；
对于用箱边界光滑，给定箱中的最大和最小值同样是箱边界，箱中的每一个值都替换为最近的边界值。

例，将数据 $4,\ 8,\ 15,\ 21,\ 21,\ 24,\ 25,\ 28,\ 34$ 分箱。

回归（regression）

用一个函数拟合数据来光滑数据。

离群点分析（outlier analysis）

通过聚类等方法来检测离群点并移除。聚类将类似的值组织成群或“簇”。直观地，落在簇集合之外的值视作离群点。

数据清理作为一个过程

偏差检测（discrepancy detection）

利用元数据（值域、取值范围、趋势、分布）；
检查是否存在字段过载；
检查唯一性原则、连续性原则、空值原则；
使用数据清洗工具、数据审计工具。

3.3 数据集成

实体识别问题

例如，A.customer_id 与 B.cust_number 是否指相同属性；
来自多个信息源的现实世界的等价实体如何匹配。

冗余和相关分析

一个属性（例如，年收入）如果能够由另一个或另一组属性“导出”，则这个属性有可能是冗余的。
有些冗余可以被相关分析检测到。给定两个属性，这种分析可以根据可用的数据，度量一个属性能在多大程度上蕴含另一个。对于标称数据，我们使用 $\chi^2$ 检验；对于数值属性，我们使用相关系数（correlation coefficient）和协方差（covariance），它们都评估一个属性的值如何随另一个变化。

标称数据的 $\chi^2$ 相关检验

假设有两个属性 $A,\ B$ ， $A$ 有 $c$ 个不同值 $a_1,\ a_2,\cdots,\ a_c$ ， $B$ 有 $r$ 个不同值 $b_1,\ b_2,\cdots,\ b_r$ 。用 $A$ 和 $B$ 描述的数据元组可以用一个相依表显示，其中 $A$ 的 $c$ 个值构成列， $B$ 的 $r$ 个值构成行。令 $A_i,\ B_j)$ 表示属性 $A$ 取值 $a_i$ 、属性 $B$ 取值 $b_j$ 的联合事件，即 $A=a_i,\ B=b_j)$ 。每个可能的 $A_i,\ B_j)$ 联合事件都在表中有自己的单元。 $\chi^2$ 值（ $Pearson\ \chi^2$ 统计量）可以用下式计算：
$\chi^2=\sum_{i=1}^c\sum_{j=1}^r\frac{{(o_{ij}-e_{ij})}^2}{e_{ij}} \tag{3.1}$
其中， $o_{ij}$ 是联合事件 $A_i,\ B_j)$ 的观测频度（即实际计数），而 $e_{ij}$ 是 $A_i,\ B_j)$ 的期望频度，可以用下式计算：
$e_{ij}=\frac{count(A=a_i)\times count(B=b_j)}{n} \tag{3.2}$
其中， $n$ 是数据元组的个数， $count(A=a_i)$ 是 $A$ 上具有值 $a_i$ 的元组个数，而 $count(B=b_j)$ 是 $B$ 上具有值 $b_j$ 的元组个数。 $(3.1)$ 式中的和在所有 $r\times c$ 个单元上计算。注意，对 $\chi^2$ 值贡献最大的单元是其实际计数与期望计数很不同的单元。

$\chi^2$ 统计检验假设 $A$ 和 $B$ 是独立的。检验基于显著水平，具有自由度 $(r-1)\times (c-1)$ 。

	男	女	合计
小说	250(90)	200(360)	450
非小说	50(210)	1000(840)	1050
合计	300	1200	1500

利用 $(3.2)$ 式，我们可以验证每个单元的期望频率。例如，单元 $(男，小说)$ 的期望频率是 $e_{11}=\frac{count(男)\times count(小说)}{n}=\frac{300\times 450}{1500}=90$ ，其他类似可得。使用计算 $\chi^2$ 的 $(3.1)$ 式，可以得到 $\chi^2=\frac{{(250-90)}^2}{90}+\frac{{(50-210)}^2}{210}+\frac{{(200-360)}^2}{360}+\frac{{(1000-840)}^2}{840}=284.44+121.90+71.11+30.48=507.93$ 。

对于这个 $2\times2$ 的表，自由度 $(2 - 1) (2 - 1) = 1$ 。对于自由度 $1$ ，在 $0.001$ 的置信水平下，拒绝假设的值式 $10.828$ 。因为 $507.93 > 10.828$ ，所以我们可以拒绝性别和阅读偏好独立的假设，并断言对于给定的人群，这两个属性式（强）相关的。

数值数据的相关系数

对于数值数据，我们可以通过计算属性 $A$ 和 $B$ 的相关系数（又称Pearson积矩系数），估计这两个属性的相关度 $r_{A,B}$ ，
$r_{A,B} =\frac{\sum_{i=1}^n(a_i-\bar A)(b_i-\bar B)}{n\sigma_A\sigma_B} =\frac{\sum_{i=1}^n(a_ib_i)-n\bar{A} \bar{B}}{n\sigma_A\sigma_B} \tag{3.3}$
其中， $n$ 是数据元组的个数， $a_i$ 和 $b_i$ 分别是元组 $i$ 在 $A$ 和 $B$ 上的值， $\bar A$ 和 $\bar B$ 分别是 $A$ 和 $B$ 的均值， $\sigma_A$ 和 $\sigma_B$ 分别是 $A$ 和 $B$ 的标准差， $\sum_{i=1}^n(a_ib_i)$ 是 $A B$ 叉积和（即对于每个元组， $A$ 的值乘以该元组 $B$ 的值）。

注意， $-1\le r_{A,B}\le +1$ 。① $r_{A,B}>0$ ，则 $A$ 和 $B$ 是正相关的；② $r_{A,B}<0$ ，则 $A$ 和 $B$ 是负相关的；③ $r_{A,B}=0$ ，则 $A$ 和 $B$ 是独立的。该值越大，相关性越强（即每个属性蕴含另一个的可能性越大）。因此，一个较高的 $r_{A,B}$ 值表明 $A\ or\ B$ 可以作为冗余删除。

数值数据的协方差

考虑两个数值属性 $A$ 和 $B$ 和 $n$ 次观测的集合 $\{(a_1,b_1),\ \cdots,\ (a_n,b_n)\}$ 。 $A$ 和 $B$ 的均值又分别称为 $A$ 和 $B$ 的期望值，即
$E(A)=\bar A=\frac{\sum_{i=1}^na_i}{n},\ E(B)=\bar B=\frac{\sum_{i=1}^nb_i}{n}.$
$A$ 和 $B$ 的协方差（covariance）定义为：
$Cov(A,B)=E((A-\bar A)(B-\bar B))=\frac{\sum_{i=1}^n(a_i-\bar A)(b_i-\bar B)}{n} \tag{3.4}$
容易得到：
$r_{A,B}=\frac{Cov(A,B)}{\sigma_A\sigma_B} \tag{3.5}$

$Cov(A,B)=E(A\cdot B)-\bar A \bar B \tag{3.6}$

元组重复

除了检测属性间的冗余外，还应当在元组级检测重复（例如，对于给定的唯一数据实体，存在两个或多个相同的元组）。

数据值冲突的检测与处理

来自不同数据源的属性值可能不同。这可能是因为表示、尺度或编码不同。

3.4 数据归约

数据归约策略概述

维归约（dimensionality reduction）

减少所考虑的随机变量或属性的个数。方法包括：

小波变换；
主成分分析；

它们把元数据变换或投影到较小的空间；

属性子集选择；

这种方法将不相关、弱相关或冗余的属性或维检测出来并删除。

数量归约（numerosity reduction）

参数方法：

回归和对数-线性模型；

非参数方法：

直方图；
聚类；
抽样；
数据立方体聚集。

数据压缩（data compression）

使用变换，以便得到原数据的归约或“压缩”表示。如果原数据能够从压缩后的数据重构，而不损失信息，则称该数据归约是无损的。如果我们只能近似重构原数据，则该数据归约称为有损的。

小波变换

一种线性信号处理技术，可用于处理多维数据。实际应用包括指纹图像压缩、计算机视觉、时间序列数据分析和数据清理；
离散小波变换（DWT）关键在于小波变换后的数据可以截断。仅存放一部分最强的小波系数，就能保留近似的压缩数据；
与离散傅里叶变换（DFT）相比，DWT是一种更好的有损压缩。即，对于给定数据的向量，在DWT和DFT保留相同数目系数的情况下，DWT能提供更准确的数据近似、需要的空间比DFT小、局部性更好有助于保留局部细节。

主成分分析

搜索最能代表数据的向量；
创建一个替换的、较小的变量集“组合”属性的基本要素；
常常揭示先前未曾察觉的联系。

属性子集选择

通过删除不相关或冗余的属性（或维）减少数据量。该方法的目标是找出最小属性集，使得数据类的概率分布尽可能地接近使用所有属性得到的原分布。该方法还减少了出现在发现模式上的属性数目，使得模式更易于理解。

属性子集选择的启发式方法

逐步向前选择

由空属性集作为归约集开，确定原属性集中最好的属性，并将它添加到归约集中。在其后的每一次迭代，将剩下的原属性集中最好的属性添加到该集合中。

逐步向后删除

由整个属性集开始，在每一步中，删除属性集中最差的属性。

逐步向前选择和逐步向后删除的组合

由整个属性集开始，在每一步中，删除属性集中最差的属性，同时选择一个最好的属性。

决策树归纳

当决策树归纳用于属性子集选择时，由给定的数据构造决策树。不出现在树中的所有属性假定是不相关的。出现在树中的属性形成归约后的属性子集。

在某些情况下，我们可能基于其他属性创建一些新属性。这种属性构造可以帮助提高准确性和对高维数据结构的理解。

回归和对数线性模型：参数化数据归约

在（简单）线性回归中，对数据建模，使之拟合到一条直线。例如，可以用以下公式，将随机变量 $y$ （因变量）表示为另一随机变量 $x$ （自变量）的线性函数，
$\tag{3.7}$
其中，假定 $y$ 的方差是常量。在数据挖掘中， $x$ 和 $y$ 是数值数据库属性。系数 $w$ 和 $b$ （回归系数）分别为直线的斜率和 $y$ 轴截距。

对数线性模型（log-linear model）近似离散的多维概率分布。给定 $n$ 维元组集合，我们可以把每个元组看作 $n$ 维空间的点。对于离散属性集，可以使用对数线性模型，基于维组合的一个较小的子集，估计多维空间中每个点的概率。这使得高维数据空间可以有较低维空间构造。

直方图

直方图使用分箱来近似数据分布。如果每个桶指代别单个属性值/频率对，则该桶称为单值桶。通常，同表示给定属性的一个连续区间。

有一些划分规则，包括下面这些：

等宽：在等宽直方图中，每个通道宽度区间是一致的；
等频（或等深）：在等频直方图中，每个桶的频率大致相同（即，每个桶呆滞包含相同个数的邻近数据样本）。

对于近似稀疏和稠密数据，以及高倾斜和均匀的数据，直方图都是非常有效的。

聚类

基于相似性将数据集划分为群或簇，并且仅存储聚类表示（例如，质心和直径）。

抽样

使用数据小得多的随机样本（子集）表示大型数据集。

假定大型数据集 $D$ 包含 $N$ 个元组。常用的抽样方法如下所示：

$s$ 个样本的无放回简单随机抽样（ $\text{SRSWOR}$ ）

从 $D$ 的 $N$ 个元组中抽取 $s$ 个样本（ $s < N$ ），其中 $D$ 中任意元组被抽取的概率均为 $1/ N$ ，即所有元组的抽取是等可能的。

$s$ 个样本的有放回简单随机抽样（ $\text{SRSWR}$ ）

该方法类似于 $\text{SRSWOR}$ ，不同之处在于当一个元组从 $D$ 中抽取后，记录它，然后放回原处。

簇抽样

将数据集进行分区，从每个分区中按比例抽取样本；例如，对全年级按照班级抽样。

分层抽样

将数据集按某属性划分为 “层”，对每一层抽样。例如，按照年龄抽样。当数据倾斜时抽样可以具有代表性。

采用抽样进行数据归约的优点：得到样本的花费正比例于样本集的大小 $s$ ，而不是数据集的大小 $N$ 。因此，抽样的复杂度可能亚线性（sublinear）于数据的大小。其他数据归约技术至少需哟完全扫描 $D$ 。对于固定的样本大小，抽样的复杂度仅随数据的维数 $n$ 线性得增加；而其他技术，如直方图，复杂度随 $n$ 呈指数增长。

数据立方体聚集

略

3.5 数据变化与数据离散化

数据变换策略概述

光滑（smoothing）：去掉数据中的噪声。这类技术如分箱、聚类；
属性构造（特征构造）：由给定属性构造新的属性；
聚集：对数据进行汇总或聚集。如聚集月销售量来计算年销售量；
规范化：将数据按比例缩放，使其落入特定区间，如 $-1.0\sim 1.0$ 或 $0.0\sim 1.0$ ；
离散化：将数值的原始值用区间标签代替，如年轻人、中年人、老年人；
由标称数据产生概念分层：属性，如 $s t ree t$ ，可以泛化到较高的概念层，如 $c i t y$ 或 $co u n t ry$ 。

通过规范化变换数据

最小-最大规范化

最小-最大规范化对原始数据进行线性变换。假设 $min_A$ 和 $max_A$ 分别为属性 $A$ 的最小值和最大值。最小-最大规范化通过计算
$v'_i=\frac{v_i-min_A}{max_A-min_A}(new\_max_A-new\_min_A)+new\_min_A \tag{3.8}$
把 $A$ 的值 $v_i$ 映射到区间 $new\_min_A,new\_max_A]$ 中的 $v_i^{'}$ 。

最小-最大规范化保持原始数据之间的联系。如果今后输入实例落在 $A$ 的原数据值域之外，则该方法将面临 “越界” 错误。

$z$ 分数（ $z - score$ ）规范化

或零均值规范化，属性 $\bar A$ 的值基于 $A$ 的均值和标准差规范化。 $A$ 的值 $v_i$ 被规范化为 $v_i$ ，由下式计算：
$v'_i=\frac{v_i-\bar A}{\sigma_A} \tag{3.9}$
其中， $\bar A$ 和 $\sigma_A$ 分别是属性 $A$ 的均值和标准差。