数据挖掘-数据预处理模块

数据预处理 

     在数据挖掘中，海量的原始数据中存在着大量的不完整（有缺失值）、不一致、有异常的数据，严重影响到数据挖掘建模的执行效率，甚至可能导致挖掘结果的偏差，所以进行数据清洗显得尤为重要，数据清洗完成后接着进行或者同时进行数据集成、变换、规约等一系列的处理，该过程就是数据预处理。

数据预处理的主要内容包括数据清洗，数据集成，数据规约，数据变换等。

1. 数据清洗

1.1 缺失值处理

     从统计上说，缺失的数据可能会产生有偏估计，从而这样使样本数据不能很好的代表总体，而实现中绝大部分数据都包含缺失值，因此如何处理缺失值很重要。缺失值的处理包括两个步骤，即缺失数据的识别和缺失值处理。在对是否存在缺失值进行判断之后需要进行缺失值处理，常用的方法有删除法、替换法、插补法等。

1）删除法

删除法是最简单的缺失值处理法，根据数据处理不同角度可分为删除观测样本、删除变量两种。

2）替换法

变量按属性可分为数值型和非数值型，二者的处理方法不同。如果缺失值所在的变量为数值型的，一般用该变量在其他所有对象的取值的均值来替换变量的缺失值，如果为非数值型变量，则使用该变量其他全部有效观测值的中位数或者众数替代。

3）插补法

     在面对缺失值问题，常用的插补法有回归插补、多重插补等。回归插补法利用回归模型，将需要插值补缺的变量作为因变量，其他相关变量作为自变量，通过回归函数lm()预测出因变量的值来对缺失变量进行补缺。

1.2异常值处理

     在异常处理之前需要对异常值进行识别，一般多采用单变量散点图或是箱形图来达到目的。

异常值处理方法

方法描述 </