数据预处理方法综述

一、标准化

1、定义：

对样本集的每个特征列减去该特征列均值进行中心化，再除以标准差进行缩放。

2、作用：

为了避免某一个动态范围过大的特征列对计算结果造成影响，同时还可以提升模型精度。

3、代码实现：

import numpy as np
from sklearn import preprocessing as pp
d = np.array([[ 1., -5., 8.], [ 2., -3., 0.], [ 0., -1., 1.]])
d_scaled = pp.scale(d) # 对数据集d做标准化
d_scaled
#array([[ 0. , -1.22474487, 1.40487872],
# [ 1.22474487, 0. , -0.84292723],
# [-1.22474487, 1.22474487, -0.56195149]])
d_scaled.mean(axis=0) # 标准化以后的数据集，各特征列的均值为0
#array([0., 0., 0.])
d_scaled.std(axis=0) # 标准化以后的数据集，各特征列的标准差为1
#array([1., 1., 1.])

 预处理子模块 preprocessing 还提供了一个实用类 StandardScaler，它保存了训练集上各特征列的平均值和标准差，以便以后在测试集上应用相同的变换。此外，实用类StandardScaler 还可以通过 with_mean 和 with_std 参数指定是否中心化和是否按标准差缩放；

import numpy as np
from sklearn import preprocessing as pp
X_train = np.array([[ 1., -5., 8.], [ 2., -3., 0.], [ 0., -1., 1.]])
scaler = pp.StandardScaler().fit(X_train)
scaler
#StandardScaler(copy=True, with_mean=True, with_std=True)
scaler.mean_ # 训练集各特征列的均值
#array([ 1., -3., 3.])
scaler.scale_ # 训练集各特征列的标准差
#array([0.81649658, 1.63299316, 3.55902608])
scaler.transform(X_train) # 标准化训练集
#array([[ 0. , -1.22474487, 1.40487872],
# [ 1.22474487, 0. , -0.84292723],
# [-1.22474487, 1.22474487, -0.56195149]])
X_test = [[-1., 1., 0.]] # 使用训练集的缩放标准来标准化测试集
scaler.transform(X_test)
#array([[-2.44948974, 2.44948974, -0.84292723]])

二、归一化

1、定义：

用数据集各个特征列的最小值进行中心化后，再按极差（最大值－最小值）进行缩放，即数据减去特征列的最小值，并且会被收敛到区间 [0,1] 内。

2、作用：

因为归一化对异常值非常敏感，所以大多数机器学习算法会选择标准化来进行特征缩放。在主成分分析（Principal Components Analysis，PCA）、聚类、逻辑回归、支持向量机、神经网络等算法中，标准化往往是最好的选择。归一化在不涉及距离度量、梯度、协方差计算，以及数据需要被压缩到特定区间时被广泛使用，如数字图像处理中量化像素强度时，都会使用归一化将数据压缩在区间 [0,1] 内。

3、代码实现：

import numpy as np
from sklearn import preprocessing as pp
X_train = np.array([[ 1., -5., 8.], [ 2., -3., 0.], [ 0., -1., 1.]])
scaler = pp.MinMaxScaler().fit(X_train) # 默认数据压缩范围为[0,1]
scaler
#MinMaxScaler(copy=True, feature_range=(0, 1))
scaler.transform(X_train)
#array([[0.5 , 0. , 1. ],
# [1. , 0.5 , 0. ],
# [0. , 1. , 0.125]])
scaler = pp.MinMaxScaler(feature_range=(-2, 2)) # 设置数据压缩范围为[-2,2]
scaler = scaler.fit(X_train)
scaler.transform(X_train)
#array([[ 0. , -2. , 2. ],
# [ 2. , 0. , -2. ],
# [-2. , 2. , -1.5]])

三、正则化

1、定义：

将每个数据样本的范数单位化，是对数据集的行操作。

2、作用：

如果打算使用点积等运算来量化样本之间的相似度，那么正则化将非常有用。

3、代码实现：

import numpy as np
from sklearn import preprocessing as pp
X_train = np.array([[ 1., -5., 8.], [ 2., -3., 0.], [ 0., -1., 1.]])
pp.normalize(X_train) # 使用I2范式正则化，每行的范数为1
#array([[ 0.10540926, -0.52704628, 0.84327404],
# [ 0.5547002 , -0.83205029, 0. ],
# [ 0. , -0.70710678, 0.70710678]])
pp.normalize(X_train, norm='I1') # 使用I1范式正则化，每行的范数为1
#array([[ 0.07142857, -0.35714286, 0.57142857],
# [ 0.4 , -0.6 , 0. ],
# [ 0. , -0.5 , 0.5 ]])

四、白化

1、定义：

分为PCA白化和ZCA白化两种。PCA 白化将原数据各个特征维变换到主成分轴上，消除了特征之间的相关性，并使得各个主成分的方差为1。ZCA白化则是将PCA 白化的结果反变换到原数据的各个特征维轴上，因为ZCA白化过程中通常不会降维。

2、作用：

去除或降低特征列之间的相关性，通过主成分分析（PCA）降维，消除方差占比比较小的特征维；

使得每个特征列的方差为1，实现标准化；

3、代码实现：

import numpy as np
from sklearn import preprocessing as pp
from sklearn.decomposition import PCA
ds = np.array([
    [25, 1.85, 70, 50, 2, 1], 
    [22, 1.78, 72, 22, 0, 1], 
    [26, 1.80, 85, 25, 1, 0],
    [28, 1.70, 82, 100, 5, 2]
]) # 4个样本，6个特征列
m = PCA(whiten=True) # 实例化主成分分析类，指定白化参数
m.fit(ds) # 主成分分析
#PCA(whiten=True)
d = m.transform(ds) # 返回主成分分析结果
d # 特征列从6个降至4个
#array([[ 0.01001541, -0.99099492, -1.12597902, -0.03748764],
#       [-0.76359767, -0.5681715 ,  1.15935316,  0.67477757],
#       [-0.65589352,  1.26928222, -0.45686577, -1.8639689 ],
#       [ 1.40947578,  0.28988421,  0.42349164,  1.2724972 ]])
d.std(axis=0) # 显示各特征列方差
#array([0.8660254 , 0.8660254 , 0.8660254 , 1.17790433])
d = pp.scale(d) # 标准化
d.std(axis=0) # 标准化后的各特征列方差均为1
#array([1., 1., 1., 1.])

五、离散化

1、定义：

将连续特征划分为离散特征值，典型的应用是灰度图像的二值化。如果使用等宽的区间对连续特征离散化，则被称为 K-bins 离散化。

2、代码实现：

import numpy as np
from sklearn import preprocessing as pp
X = np.array([[-2,5,11],[7,-1,9],[4,3,7]])
bina = pp.Binarizer(threshold=5) # 指定二值化阈值为5
bina.transform(X)
#array([[0, 0, 1],
# [1, 0, 1],
# [0, 0, 1]])
est = pp.KBinsDiscretizer(n_bins=[2, 2, 3], encode='ordinal').fit(X)
est.transform(X) # 三个特征列离散化为2段、2段、3段
#array([[0., 1., 2.],
# [1., 0., 1.],
# [1., 1., 0.]])

参考：

【1】https://www.jb51.net/article/209746.htm

【2】