机器学习 | 特征缩放

1. 特征缩放

特征缩放（Feature Scaling）

1.1 最大最小值归一化（min-max normalization）

$$x^{\prime }=\frac{x-min(x)}{max(x)-min(x)}\text{\hspace{1em}(1)}$$

将数据归一化到 $[0,1]$。

sklearn.preprocessing.MinMaxScaler

MinMaxScaler(feature_range=(0, 1), copy=True)

1.2 均值归一化（mean normalization）

$$x^{\prime }=\frac{x-\bar{x}}{max(x)-min(x)}\text{\hspace{1em}(2)}$$

将数据归一化到 $[-1,1]$。

1.3 中心化（mean centering）

$$x^{\prime }=x-\bar{x}\text{\hspace{1em}(3)}$$

将数据缩放到 0 附近。

1.4 标准化 / z值归一化（standardization / z-score normalization）

$$x^{\prime }=\frac{x-\bar{x}}{\sigma }\text{\hspace{1em}(4)}$$

将数据标准化为均值为 0 ，标准差为 1。

sklearn.preprocessing.StandardScaler

StandardScaler(copy=True, with_mean=True, with_std=True)

1.5 最大绝对值归一化（max-abs normalization）

$$x^{\prime }=\frac{x}{\Vert max(x)\Vert }\text{\hspace{1em}(5)}$$

适用于稀疏数据，将数据缩放到 $[-1,1]$。

sklearn.preprocessing.Normalizer

Normalizer(norm=‘l2’, copy=True)

norm =‘max’ 时为最大绝对值归一化（好像没有绝对值）。

1.6 稳健归一化（robust normalization）

先减去中位数，再除以四分位距（interquartile range, IQR）。因为不涉及极值，因此在数据里有异常值的情况下表现比较稳健。

$$x^{\prime }=\frac{x-median(x)}{IQR(x)}\text{\hspace{1em}(6)}$$

sklearn.preprocessing.robust_scale

robust_scale(X, axis=0, with_centering=True, with_scaling=True, quantile_range=(25.0, 75.0), copy=True)

2. 需要进行缩放的模型

通过梯度下降法求解的模型需要进行特征缩放，这包括线性回归（Linear Regression）、逻辑回归（Logistic Regression）、感知机（Perceptron）、支持向量机（SVM）、神经网络（Neural Network）等模型。

此外，近邻法（KNN），K均值聚类（K-Means）等需要根据数据间的距离来划分数据的算法也需要进行特征缩放。

主成分分析（PCA），线性判别分析（LDA）等需要计算特征的方差的算法也会受到特征缩放的影响。

3. 不需要进行缩放的模型

决策树（Decision Tree），随机森林（Random Forest）等基于树的模型不需要进行特征缩放，因为特征缩放不会改变样本在特征上的信息增益。

4. 进行特征缩放的注意事项

需要先把数据拆分成训练集与验证集，在训练集上计算出需要的数值（如均值和标准值），对训练集数据做标准化/归一化处理（不要在整个数据集上做标准化/归一化处理，因为这样会将验证集的信息带入到训练集中，这是一个非常容易犯的错误），然后再用之前计算出的数据（如均值和标准值）对验证集数据做相同的标准化/归一化处理。

参考资料

[1] HuZihu.[ML] 特征缩放（Feature Scaling）[EB/OL].https://www.cnblogs.com/HuZihu/p/9761161.html, 2019-08-11.

[2] Sebastian Raschka.[ML] About Feature Scaling and Normalization
– and the effect of standardization for machine learning algorithms[EB/OL].https://sebastianraschka.com/Articles/2014_about_feature_scaling.html, 2014-7-11.