[深度学习] 网络正则化

网络正则化

机器学习的核心问题是如何使学习算法不仅在训练样本上表现良好，而且在新数据上或测试集上同时奏效，学习算法在新数据上的这样一种表现我们称之为模型的泛化能力。如果一个学习算法在训练集表现优异，同时在测试集依然工作良好，可以说该学习算法有较强的泛化能力。若某算法在训练集表现优异，但是测试集却非常糟糕，我们说这样的学习并没有泛化能力，这种现象也叫做过拟合（overfitting）。
如何避免过拟合？我们可以使用正则化的技术来防止过拟合的情况。正则化是机器学习中通过显示的控制模型复杂度来避免模型过拟合，确保泛化能力的一种有效方式。
许多浅层学习器（如支持向量机等）为了提高泛化能力往往都需要依赖模型的正则化，深度学习也应如此。深度网络模型相比浅层学习器巨大的多的模型复杂度时把更锋利的双刃剑：保证模型更强大的同时也蕴含着过拟合的风险。深度模型的正则化可以说是整个深度模型搭建的最后一步，更是不可或缺的一步。下面将介绍五种实践中常用的卷积神经网络的正则化方法。

正则化原理

对于目标函数：

min(1N∑i=1n(yi−f(xi)