深度学习中的五大正则化技术

正则化技术是保证算法泛化能力的有效工具,它可以令参数数量多于输入数据量的网络避免产生过拟合现象。

1.1 数据增强

数据增强是提升算法性能、满足深度学习模型对大量数据的需求的重要工具。数据增强通过向训练数据添加转换或扰动来人工增加训练数据集。数据增强技术如水平或垂直翻转图像、裁剪、色彩变换、扩展和旋转通常应用在视觉表象和图像分类中。

1.2 L1 和 L2 正则化

正则化(regularization)的思想是在损失函数中加入刻画模型复杂程度的指标。L1 和 L2 正则化是最常用的正则化方法。L1 正则化向目标函数添加正则化项，以减少参数的绝对值总和；而 L2 正则化中，添加正则化项的目的在于减少参数平方的总和。根据之前的研究，L1 正则化中的很多参数向量是稀疏向量，因为很多模型导致参数趋近于 0，因此它常用于特征选择设置中。机器学习中最常用的正则化方法是对权重施加 L2 范数约束。
标准正则化代价函数如下：

注意：损失函数中包括了神经网络中的所有参数，即包括边上的权重w和偏置项b，而模型复杂度一般只由权重w决定。
其中正则化项 R(w) 是：