读书笔记 -- 001_数据预处理_数据清理

1、概述

实际的数据库极易受噪声、缺失值和不一致数据的侵扰，因为数据库太大，并且多半来自多个异种数据源。低质量的数据将会导致低质量的挖掘结果。有大量的数据预处理技术：
- - 数据清理：可以用来清楚数据中的噪声，纠正不一致。
- - 数据集成：将数据由多个数据源合并成一个一致的数据存储，如数据仓库。
- - 数据归约：可以通过如聚集、删除冗余特征或聚类来降低数据的规模。
- - 数据变换：(例如，规范化)可以用来把数据压缩到较小的区间，如0.0到1.0。

这可以提高设计距离度量的挖掘算法的准确率和效率。这些技术不是排斥的，可以一起使用。

1.1、数据质量 数据如果能满足其应用的要求，那么它是高质量的。数据质量涉及许多因素，包括：准确率、完整性、一致性、时效性、可信性和可解释性。

2、数据清理

现实世界的数据一般是不完整的、有噪声的和不一致的。数据清理例程试图填充缺失的值、光滑噪声并识别离群点、纠正数据中的不一致。

2.1、缺失值

如何处理缺失的属性？我们来看看下面的方法：
1- - - 忽略元组：当缺少类标号时通常这样做（假设挖掘任务设计分类）。除非元组有多个属性缺少值，否则更改方法不是很有效。当每个属性缺失值的百分比变化很大时，他的性能特别差。采用忽略元组，你不能使用该元组的剩余属性值。这些数据可能对手头的任务是有用的。
2- - - 人工填写缺失值：一般来说，该方法很费事，