数据预处理一些笔记

数据预处理分为：数据清洗、数据集成、数据变换，数据规约

数据清洗（去除噪声和异常值）

异常值常用的检验方法有：聚类(二维特征)，散点图，残差图，（别人说的小波，不确定是不是有用）偏度和峰度值，同时去除一下重复的、不重要的属性和数据，多维特征异常值目前是每个特征用标准值和方差做检验，文本型数据一般不做异常值处理。如果简单模型，计算相似度后用方差检验就够。如果用模型，可以考虑密度聚类。

数据集成（将不同的来源归纳在同一个数据集中）

数据变换（将数据整理为可以挖掘的样式）

数据规约

1、基于树的方法是不需要进行特征的归一化，例如随机森林等。基于参数的模型或基于距离的模型(线性回归，神经网络, SVM,etc) ，都是要进行特征的归一化,将不同量纲下的数据转换为统一量纲，常用的取对数函数转换或者均值转换。

2、缺失值的处理：

对于缺失数据的处理方法有以均值替代、众数替代、K最近距离邻发、组合完整化方法以及直接剔除等方法

如果数据比较大而完整的话，缺失的数据可以丢弃；

如果数据缺失不大的话，可以手工填写；

如果数据缺失比较严重的，取完整的数据作为测试集，不完整的数据作为验证集，对于缺失值进行预测或者使用其他方式替代。

3、连续特征离散化（分箱）

价格[0,1000]可以处理为:<1000,1000-2000,2000-3000...

4、时间序列的数据需要平稳化处理

5、文本数据转化为词向量

数据预处理过程需要不断重复更新优化（清洗删除清洗删除...）