数据挖掘学习之路二：数据预处理方法概述

主要是将数据中缺失的数据补充完整、消除噪声数据、识别和删除离群点并解决不一致性。主要达到的目标是：将数据格式标准化、异常数据清除、错误纠正、重复数据清除。

A.异常数据处理：

分析异常数据：
（1）使用统计值进行判断，最大值、最小值、平均值等判断是否超出范围。（2）使用3原则，异常值和平均值比超出三倍标准差及小概率事件，可看做异常值。
（3）箱线图，数值超过了箱线图的上下边界即为异常值。
异常数据处理方法：
（1）删除异常数据。
（2）视为缺失值，用缺失值处理方法。
（3）平均值处理方法，前后观测值的平均值替代，或者整体数据的平均值。（4）不处理，作为正常值看待。

B.缺失值处理

数据缺失的原因很多，主要有几下几个
（1）不确定原因占时无法获取。
（2）保存不当丢失的。
（3）采集不当丢失的。丢失对数据挖掘有一定的影响，处理缺失值的方法很多，忽略缺失数据、去掉缺失数据属性、手工填写缺失数据、默认值代替、均值（中位数、众数）替代、预测值代替等。
经常使用的是插补法代替，插补法细粉如下：
（1）最近邻补插，附近值代替，或者前后值均值代替。
（2）回归拟合代替。

C.噪声数据处理

噪声无处不在，处理噪声的方法一般包括分箱、聚类和分类
分箱法及时按照一定的规律将数据放进一些箱子中，考察每个箱子中的数据，采用合适的方法处理箱子中的数据，分箱方法有
（1）权重分箱法，每个箱子里的数据量相同。
（2）统一区间法，根据属性区间平均分，相纸宽度是一个常量。
（3）自定义区间。分箱后对数据进行平滑处理方法有平均值平滑、边界值平滑、中值平滑。
聚类法，将数据分为多个簇，在簇以外的孤立点即为噪声数据。
回归法，线性或非线性回归方式平滑数据。

python实现方法见下篇