数据预处理(八)——小结

主要内容：
数据预处理的必要性
数据清洗
数据集成
数据标准化
数据规约
数据变换与离散化
利用sklearn进行数据预处理
小结

（1）现实中获得的数据极易受到噪声、缺失值和不一致数据的侵扰。数据的质量决定了数据挖掘的效果，因此在数据挖掘之前要对数据进行预处理，提高数据质量，从而提高数据挖掘的效果。数据质量用准确性、完整性、一致性、时效性、可信性和可解释性定义。

（2）数据清理用于填补缺失的值、光滑噪声同时识别离群点，并纠正数据的不一致性。数据清理通常是一个两步的迭代过程，即偏差检测和数据变换。

（3）数据集成将来自多个数据源的数据集成为一致的数据存储。实体识别问题，属性的相关性分析是数据集成中的主要问题。

（4）数据标准化用于消除特征之间量纲和取值范围的差异可能会造成的影响，主要包括离差标准化和标准差标准化。

（5）数据归约用于在尽可能保持数据完整性的基础上得到数据的归约表示，主要包括维归约、数量归约和数据压缩等方法。

（6）数据变换是一种将原始数据变换成较好数据格式的方法，以便作为数据处理前特定数据挖掘算法的输入。数据离散化是一种数据变换的形式。

（7）利用Python中的Pandas和sklearn可以方便地实现数据预处理。