深度学习基础—其他正则化技巧

（1）数据扩增

        如果一个样本集的数据不容易扩增，那么可以通过一些改变样本的手段伪造数据。比如在图片识别中，图片的数据集不容易获取，那么我们可以将图片进行放大、缩小、水平反转等方式，从而构造出新的数据集，这种方式虽然没有获取新的训练集数据效果好，但是成本低代价小，起到的效果也类似正则化，可以缓解过拟合问题，因此可以作为一种正则化手段。

（2）提前结束训练

        过拟合实际上是模型参数越来越多、越来越大的现象，如下图所示，验证集的损失随着迭代次数先降后升，训练集的损失随着迭代次数逐渐下降：

        为了缓解过拟合现象（验证集和训练集之间的方差大），可以在虚线所在位置提前结束训练，这样训练集和验证集之间的差距较小，从而缓解了过拟合。

        但是这样做有缺点：我们训练一个性能优良的模型，往往需要考虑两个问题，一个是优化算法的选择，另一个是选择了优化算法之后，我们不希望模型过拟合。提前结束训练将这两个问题的解决统一起来了，而这两个问题应该独立讨论。即我们虽然缓解了过拟合问题，也选择的优化算法，但是优化算法的效果最终是好是坏，我们并不清楚（因为如上图，优化算法的损失还可以继续下降）。因此训练出来的模型表现并不一定是最好的。