正则化输入

正则化的步骤

假设我们在处理深度学习相关问题时的输入有两个属性，分别为x1与x2。具体形式如下图所示。

正则化分为两个步骤：
第一步：零均值化

通过零均值化得到如图2所示的图像

但是从图2种知，特征属性x1与x2的方差差别较大，需要进行第2步处理：归一化方差(normalize variance)。
第2步：归一化方差(normalize variance)

归一化方差后的效果图，如图3所示。

需要注意的是：用归一化方式去处理了训练集，那么一定要用相同的方式去处理测试集。否之，那么训练好的模型会比较拟合训练集，但是不能很好拟合测试集，带来较大的误差。

为什么要正则化

而你使用归一化处理后损失函数的梯度可能会变得比较均匀，就像右图所示。如果在左图使用优化算法减少梯度，那么你必须使用一个非常小的学习率，那将会增加许多迭代次数。但如果函数是一个圆的球形轮廓，那么不论从哪个位置开始，优化算法都能更快的找到最优值。综上来说，在一些特殊数据中，例取值范围差异较大等，需要进行正则化处理，以此加快梯度下降的速度。