正则化的步骤
假设我们在处理深度学习相关问题时的输入有两个属性,分别为x1与x2。具体形式如下图所示。
正则化分为两个步骤:
第一步:零均值化
通过零均值化得到如图2所示的图像
但是从图2种知,特征属性x1与x2的方差差别较大,需要进行第2步处理:归一化方差(normalize variance)。
第2步:归一化方差(normalize variance)
归一化方差后的效果图,如图3所示。
需要注意的是:用归一化方式去处理了训练集,那么一定要用相同的方式去处理测试集。否之,那么训练好的模型会比较拟合训练集,但是不能很好拟合测试集,带来较大的误差。
为什么要正则化
而你使用归一化处理后损失函数的梯度可能会变得比较均匀,就像右图所示。如果在左图使用优化算法减少梯度,那么你必须使用一个非常小的学习率,那将会增加许多迭代次数。但如果函数是一个圆的球形轮廓,那么不论从哪个位置开始,优化算法都能更快的找到最优值。综上来说,在一些特殊数据中,例取值范围差异较大等,需要进行正则化处理,以此加快梯度下降的速度。