Python数据预处理简介（四）

在数据挖掘中，海量的原始数据中存在大量不完整（有缺失值），不一致、有异常的数据，严重影响到数据挖掘建模的执行效率，甚至可能导致挖掘结果的偏差。数据预处理提高数据的质量。统计发现，在数据挖掘的过程中，数据预处理工作量占到了整个过程的60%。
数据预处理的主要内容包括数据清洗、数据集成、数据变换和数据规约。

数据清洗

数据清洗主要是删除原始数据中的无关数据、重复数据，平滑噪声数据，处理缺失值、异常值等。

数据集成

数据挖掘需要的数据往往分布在不同的数据源中，数据集成就是将多个数据源合并存放在一个一致的数据存储中的过程。

数据变换

数据变换主要是对数据进行规范化处理，将数据转换成“适当的”形式，以适应于挖掘任务及算法的需要。

数据规约

在大数据集上进行复杂的数据分析和挖掘需要很长的时间，数据规约产生更小但保持原数据完整性的新数据集。