吴恩达神经网络和深度学习-学习笔记-8-归一化输入Normalizing inputs

归一化介绍

归一化输入包括两个部分：

• 归一化均值
• 归一化方差

对于有两个输入特征（features）的数据，先归一化均值再归一化方差。

最后x1和x2的均值均为0，方差均为1。

提示一下，如果你用这种方法来调整数据，那么用相同的μ和σ²来归一化测试集（尤其是训练集和测试集的归一化应该相同，即用同样的方法调整测试集，而不是在训练集和测试集上分别预估μ和σ²）。

归一化的好处

如果在左图这样的代价函数上运行梯度下降算法，你就必须使用一个非常小的学习率。因为如果是在这个位置，梯度下降算法可能需要多次迭代过程，直到最后找到最小值。
如果函数是一个更圆的球形轮廓，那么不论从哪个位置开始，梯度下降算法都能更直接地找到最小值，这使得我们可以在梯度下降法中使用较大的步长，而不需要像在左图那样反复执行（即使得代价函数J优化起来更简单更快速）（只要各个特征在相似范围即可）。

如果特征值处于相似范围内，俺么归一化就不是很重要了。但执行这类归一化也不会产生什么危害，所以归一化操作也可以作为常规操作。