常用的数据清洗方法

常用的数据清洗方法

常用的数据清洗方法

   在数据处理过程中，一般都需要进行数据的清洗工作，如数据集是否存在重复、是否存在缺失、数据是否具有完整性和一致性、数据中是否存在异常值等。当发现数据中存在如上可能的问题时，都需要有针对性地处理，本节将重点介绍如何识别和处理重复观测、缺失值和异常值。

（1）重复观测处理
重复观测，顾名思义是指观测行存在重复的现象，重复观测的存在会影响数据分析和挖掘结果的准确性，所以在数据分析和建模之前需要进行观测的重复性检验，如果存在重复观测，还需要进行重复项的删除。

（2）缺失值处理

   缺失值是指数据集中的某些观测存在遗漏的指标值，缺失值的存在同样会影响到数据分析和挖掘的结果。

    
   一般而言，当遇到缺失值（Python中用NaN表示）时，可以采用三种方法处置：

1、删除法
删除法是指当缺失的观测比例非常低时（如5%以内），直接删除存在缺失的观测，或者当某些变量的缺失比例非常高时（如85%以上），直接删除这些缺失的变量；

2、替换法
替换法是指用某种常数直接替换那些缺失值，例如，对连续变量而言，可以使用均值或中位数替换，对于离散变量，可以使用众数替换；

3、插补法
插补法是指根据其他非缺失的变量或观测来预测缺失值，常见的插补法有回归插补法、K近邻插补法、拉格朗日插补法等。

（3）异常值处理

   异常值是指那些远离正常值的观测，即“不合群”观测。

对于异常值的检测，一般采用两种方法，一种是n个标准差法，另一种是箱线图判别法。

1、n个标准差法
标准差法的判断公式是

其中 为样本均值，σ为样本标准差，当n=2时，满足条件的观测就是异常值，当n=3时，满足条件的观测就是极端异常值；

2、箱线图判别法

箱线图的判断公式是 outlinear>Q3+nIQR 或者 outlinear<Q1-nIQR ，其中Q1为下四分位数（25%），Q3为上四位数 （75%），IQR为四分位差（上四分位数与下四分位数的差），当n=1.5s时，满足条件的观测为异常
值，当n=3时，满足条件的观测即为极端异常值。

这两种方法的选择标准如下，如果数据近似服从正态分布时，优先选择n个标准差法，因为数据的分布相对比较对称；否则优先选择箱线图法，因为分位数并不会受到极端值的影响。 当数据存在异常时，一般可以使用删除法将异常值删除（前提是异常观测的比例不能太大）、 替换法（可以考虑使用低于判别上限的最大值或高于判别下限的最小值替换、使用均值或中位数替换等）。