深度学习3：归一化和去均值化

归一化

进行归一化的原因是把各个特征的尺度控制在相同的范围内，这样可以便于找到最优解，不进行归一化时如左图，进行归一化后如右图，可发现能提高收敛效率，省事多了。 　　　　　　　　　　　　　　　　 　　
一种是最值归一化，比如把最大值归一化成1，最小值归一化成-1；或把最大值归一化成1，最小值归一化成0。适用于本来就分布在有限范围内的数据。
另一种是均值方差归一化，一般是把均值归一化成0，方差归一化成1。适用于分布没有明显边界的情况。

标准化（归一化）优点及其方法

标准化（归一化）两个优点：

1）归一化后加快了梯度下降求最优解的速度；
2）归一化有可能提高精度。

标准化（归一化）两种方法：

1）min-max标准化（Min-MaxNormalization）:
　　也称为离差标准化，是对原始数据的线性变换，使结果值映射到 [0 - 1] 之间。转换函数如下：
　　　　　　　　　　　　　　　　
其中max为样本数据的最大值，min为样本数据的最小值。这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。

2）Z-score标准化（0-1标准化）方法
　　这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1。转化函数为：
　　　　　　　　　　　　　　　　
其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

去均值化

各维度都减对应维度的均值，使得输入数据各个维度都中心化为0，进行去均值的原因是因为如果不去均值的话会容易拟合。这是因为如果在神经网络中，特征值x比较大的时候，会导致W*x+b的结果也会很大，这样进行激活函数（如relu）输出时，会导致对应位置数值变化量太小，进行反向传播时因为要使用这里的梯度进行计算，所以会导致梯度消散问题，导致参数改变量很小，也就会易于拟合，效果不好。