深度学习解决过拟合问题—正则化

过拟合问题经常发生在深度学习中，需要在loss函数中加入正则化项来解决该问题。本文将会介绍过拟合问题，给出正则化方法的公式，并推导其过程，最后介绍正则化为何可以解决过拟合以及Dropout。

1.过拟合

过拟合问题在深度学习中是常见的问题，假设做二类分类问题，结果有如下三类（欠拟合、“just right”、过拟合）：

欠拟合问题是在training数据集中分类能力不够，导致准确度不高，可以通过调整网络结构、学习步长等超参解决。过拟合问题是由于在training数据集中分类效果太好，但是在Dev数据集中表现平平。解决该问题的方法是在loss函数中加入正则项，在训练时抑制特殊特征的作用，将其拉回到“just right”状态，其方法如下：

范数定义：