深度学习中的正则化方法及总结

深度学习中的正则化方法及总结

机器学习的一个核心问题是设计不仅在训练数据上表现好，而且能在新输入上的泛化能力好的算法。在机器学习中，许多策略被显式的设计来减少测试误差。这些策略统称为正则化。
在深度学习场景中我们几乎总是发现最好的拟合模型（从最小化泛化误差的意义上）是一个适当正则化的大型模型。下面来介绍几种策略，以创建这些正则化的大型深度模型。

1.参数范数惩罚

需要说明的是：在神经网络中，我们通常只对权重做惩罚而不对偏置做惩罚。因为每个权重会指定两个变量如何作用，而偏置只会控制一个单变量，因而我们不对偏置进行正则化方差也不会特别大，此外对正则化偏置可能会导致明显的欠拟合。

• L^2权重衰减是权重衰减最常见的形式，我们还可以使用L ^1 正则化
• 与L2正则化相比，L1正则化会产生更稀疏解。此处的稀疏性指的是最优值中的一些参数为0。由L1正则化导出的稀疏性质已经被用于特征选择机制，L1惩罚可以使得部分子集的权重为0，从而表明相应的特征可以被安全的忽略掉。
• 许多正则化策略可以被解释为MAP贝叶斯推断，特别是L2正则化相当于权重是高斯先验的MAP贝叶斯推断。

2.为约束的范数惩罚

• 有时候我们希望显式的限制，而不是惩罚。另一个使用显式约束和重投影而不是使用惩罚强加约束的原因是：惩罚可能会导致目标函数非凸，而使得算法陷入局部极小。最后，因为重投影的显式约束还对优化过程增加了一定的稳定性。
• HInton 尤其推荐这样的策略：约束神经网络层的权重矩阵每列的范数，而不是限制整个权重矩阵的Frobenius范数。分别限制每一列的范数可以防止某