数据预处理过程

1，去除唯一属性：
如id属性，自增列，含唯一值的列，这些属性并不能描述本身的分布规律。
2，处理缺失值：
(1)直接使用含有缺失值的特征，如决策树算法。
(2)删除含有缺失值的特征,如果特征列含有大量缺失值，而仅包含极少量的有效值，则删除是最有效的。
(3)缺失值补全，其思想是用最有可能的值来插补缺失值
常见的缺失值补全方法：均值插补、同类均值插补、建模预测、高维映射、多重插补、极大似然估计、压缩感知和矩阵补全。
1>均值插补
如果样本属性的距离是可度量的，则使用该属性有效值的平均值来插补缺失的值；
如果的距离是不可度量的，则使用该属性有效值的众数来插补缺失的值。如果使用众数插补，出现数据倾斜会造成什么影响？
2>同类均值插补
首先将样本进行分类，然后以该类中样本的均值来插补缺失值。
3>建模预测
将缺失的属性作为预测目标来预测，将数据集按照是否含有特定属性的缺失值分为两类，利用现有的机器学习算法对待预测数据集的缺失值进行预测。
该方法的根本的缺陷是如果其他属性和缺失属性无关，则预测的结果毫无意义；但是若预测结果相当准确，则说明这个缺失属性是没必要纳入数据集中的；一般的情况是介于两者之间。
4>高维映射
将属性映射到高维空间，采用独热码编码（one-hot）技术。将包含K个离散取值范围的属性值扩展为K+1个属性值，若该属性值缺失，则扩展后的第K+1个属性值置为1。
这种做法是最精确的做法，保留了所有的信息&