归一化输入对于加速神经网络训练至关重要。通过零均值化和方差归一化，可以使得训练数据和测试数据具有相同的μ和σ^2，从而避免训练和测试数据的归一化差异。归一化有助于优化代价函数，使其更加对称，允许使用更大的学习率，从而提高训练效率。当特征值范围不同时，归一化尤为重要，因为它可以使不同特征处于相似的尺度，简化优化问题。即使特征值范围相近，归一化仍然是有益的。下节课将继续探讨更多加速训练的策略。
归一化输入（Normalizing inputs）
训练神经网络，其中一个加速训练的方法就是归一化输入。假设一个训练集有两个特征，输入特征为2维，归一化需要两个步骤：
1.零均值
2.归一化方差；
我们希望无论是训练集和测试集都是通过相同的μ和σ^2定义的数据转换，这两个是由训练集得出来的。
第一步是零均值化
它是一个向量，x等于每个训练数据 x减去μ，意思是移动训练集，直到它完成零均值化。
第二步是归一化方差，
注意特征x_1的方差比特征x_2的方差要大得多，我们要做的是给σ赋值
这是节点y 的平方，σ2是一个向量，它的每个特征都有方差，注意，我们已经完成零值均化，(x(i)2元素y2就是方差，我们把所有数据除以向量σ^2，最后变成上图形式。
x_1和x_2的方差都等于1。
提示一下，如果你用它来调整训练数据
最低0.47元/天 解锁文章
扫一扫
725
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
