2. 机器学习——数据的特征预处理（笔记）

1. 特征处理是什么

       通过特定的统计方法（数学方法）将数据转换成算法要求的数据。

这里主要说数值型数据的预处理。

2. 归一化

为什么需要归一化

比如上面的案例，三个特征同等重要，当一组特征里面的数据很大，而另一组特征数据很小时，比如在K最近邻算法中通过距离，来判断某个数据属于那一类，(72993-35948)^2 + (10.14-6.8)^2+(1.0-1.21)2可以看到，数据大的占的比重大会对结果造成很大的影响。

3. sklearn归一化API

sklearn归一化API: sklearn.preprocessing.MinMaxScaler

代码

from sklearn.preprocessing import MinMaxScaler

def mm():
    """归一化处理"""
    
    mm = MinMaxScaler(feature_range=(0,1)) #区间在（0,1）之间
    data = mm.fit_transform([[90,2,10,40],[60,4,15,45],[75,3,13,46]])
    print(data)
    
    
mm()

结果

[[1.         0.         0.         0.        ]
 [0.         1.         1.         0.83333333]
 [0.5        0.5        0.6        1.        ]]

如果数据中异常点较多，会有什么影响？

异常点对最大值最小值，影响太大，所以对归一化影响很大。

4. 标准化

5. sklearn标准化API

sklearn特征化API: scikit-learn.preprocessing.StandardScaler

代码

from sklearn.preprocessing import StandardScaler

def stand():
    """标准化处理"""
    
    std = StandardScaler()
    data = std.fit_transform([[ 1., -1., 3.],[2., 4., 2.],[ 4., 6., -1.]])
    print(data)
    
    
stand()

结果

[[-1.06904497 -1.35873244  0.98058068]
 [-0.26726124  0.33968311  0.39223227]
 [ 1.33630621  1.01904933 -1.37281295]]

6. 缺失值

pandas模块里面有比较好的函数处理缺失值，这里用 sklearn模块中的api处理。



对于numpy数组当中，缺失的部分，我们不能用？，或者其他符号代替，因为这些都是字符类型，我们需要浮点类型。

代码

from sklearn.preprocessing import Imputer
import numpy as np

def que():
    """缺失值处理"""
    
    im = Imputer(missing_values='NaN',strategy='mean',axis=0)
    data = im.fit_transform([[ 1, 2],[np.nan, 3],[ 7, 6]])
    print(data)
    
    
que()

结果

[[1. 2.]
 [4. 3.]        （1+7）/ 2 = 4
 [7. 6.]]

数据降维

7. 特征选择

sklearn特征选择API

`sklearn.feature_selection.VarianceThreshold`

threshold 默认值是方差为0，方差为零就是样本中特征值相同。

特征选择就是将那些方差很小的甚至为0的删除掉，因为，当一个特征对于所有样本差异很小，那这个特征对于分类来说基本没有多大用处。

代码

from sklearn.feature_selection import VarianceThreshold

def var():
    """特征选择——删除降低方差特征"""
    
    var = VarianceThreshold(threshold=0.0)
    data = var.fit_transform([[0, 2, 0, 3],[0, 1, 4, 3],[0, 1, 1, 3]])
    print(data)
    
    
var()

结果

[[2 0]
 [1 4]
 [1 1]]

可以看出删除两列方差为0的特征。

其他特征选择的方法：神经网络（后面具体介绍）

8. 主成分分析

sklearn.decomposition

将3维降到2维，如何很好的将花洒的特征损失减少，从图中可以看到前两张图片从3维变成二维后，很难看出来这是一个花洒，第三张图片勉强可以看出，而第四张图片在降维的基础上又尽量减少花洒的特征损失。

可以看到在保留5个点的同时将二维数据将成一维。


其中，n_components=None有两种值，小数和整数


代码

from sklearn.decomposition import PCA

def pca():
    """主成分分析进行特征将维"""
    
    pca = PCA(n_components=0.9)
    data = pca.fit_transform([[2,8,4,5],[6,3,0,8],[5,4,9,1]])
    print(data)
    
    
pca()

结果

[[ 1.28620952e-15  3.82970843e+00]
 [ 5.74456265e+00 -1.91485422e+00]
 [-5.74456265e+00 -1.91485422e+00]]

可以看到4个特征列变成两个特征列，结果中的两列特征是没有具体意义，但是包含了其中90%的特征。