深度学习正则化方法总结

       机器学习模型为了提高模型的泛化性能、减少过拟合，通常都会采用一些正则化方法来控制模型的复杂度。深度学习模型比普通的机器学习模型更复杂，更容易过拟合，因此更需要进行正则化处理，本文总结下深度学习常用的14种正则化方法，提供一些参考。

1、对权重参数增加L1、L2正则项

   L1正则化主要是对损失函数增加权重参数w的绝对值项，权重服从Laplace分布，得到的参数通常比较稀疏，常用于特征选择。

   L2正则化对损失函数增加权重参数w的平方项，权重服从高斯分布，得到的模型参数通常比较小。

2、扩充数据集

       通常来说更多的数据训练出来的模型泛化性更好，但是通常训练数据是有限的，需要通过一定的方法来扩充数据集。对于分类问题，通常包含非常多的特征，通过这些特征来推断类别标签，对数据集的变化一般不是很敏感，因此扩充数据集相对更加容易。

       扩充数据集效果最好的一个领域是目标识别（图像识别、语音识别），图像通常包含高维特征和大量的形变，实践表明，通过对图像进行旋转变换以及缩放来扩充数据集，图像识别效果得到了比较大的提升。