Feature Scaling（特征缩放）的一些方法和使用选择

（1）最大最小值归一化（min-max normalization）：将数值范围缩放到 [0, 1] 区间里

（2）均值归一化（mean normalization）：将数值范围缩放到 [-1, 1] 区间里，且数据的均值变为0

（3）标准化 / z值归一化（standardization / z-score normalization）：将数值缩放到0附近，且数据的分布变为均值为0，标准差为1的标准正态分布（先减去均值来对特征进行 中心化 mean centering 处理，再除以标准差进行缩放）

（4）最大绝对值归一化（max abs normalization ）：也就是将数值变为单位长度（scaling to unit length），将数值范围缩放到 [-1, 1] 区间里

（5）稳键标准化（robust standardization）：先减去中位数，再除以四分位间距（interquartile range），因为不涉及极值，因此在数据里有异常值的情况下表现比较稳健

具体使用哪种方法进行特征缩放？

1.在需要使用距离来度量相似性的算法中，或者使用PCA技术进行降维的时候，通常使用标准化（standardization）或均值归一化（mean normalization）比较好。
2.如果数据分布不是正态分布或者标准差非常小，以及需要把数据固定在 [0, 1] 范围内，那么使用最大最小值归一化（min-max normalization）比较好（min-max 常用于归一化图像的灰度值）。
3.但是min-max比较容易受异常值的影响，如果数据集包含较多的异常值，可以考虑使用稳键归一化（robust normalization）。
4.对于已经中心化的数据或稀疏数据的缩放，比较推荐使用最大绝对值归一化（max abs normalization ），因为它会保住数据中的０元素，不会破坏数据的稀疏性（sparsity）。

一些算法的例子，其中的特征缩放是很重要的：

1.k-最近邻具有欧氏距离度量，对大小敏感，因此应该对所有特征进行缩放，使其尺度相同。

2.主成分分析(PCA)，缩放是关键。主成分分析试图得到方差最大的特征，对于高幅值特征，方差较大。这使得PCA倾向于高幅值特征。

3.梯度下降可以通过缩放进行加速。这是因为θ在小尺度上会下降的很快，在大尺度上会很慢，所以，变量尺度不均匀的时候，在最优化的路径上会有震荡，效率下降。

4.基于树的模型不是基于距离的模型，可以处理不同范围的特性。因此，建模树时不需要缩放。

5.线性判别分析(LDA)、朴素贝叶斯等算法设计的时候就准备好了处理这一问题，并相应地赋予特征权重。在这些算法中执行特征缩放可能没有多大效果。

————————————————
参考文章
[1] https://www.cnblogs.com/HuZihu/p/9761161.html
[2] CSDN博主「ronghuaiyang」的文章