过拟合问题经常发生在深度学习中,需要在loss函数中加入正则化项来解决该问题。本文将会介绍过拟合问题,给出正则化方法的公式,并推导其过程,最后介绍正则化为何可以解决过拟合以及Dropout。
1.过拟合
过拟合问题在深度学习中是常见的问题,假设做二类分类问题,结果有如下三类(欠拟合、“just right”、过拟合):
欠拟合问题是在training数据集中分类能力不够,导致准确度不高,可以通过调整网络结构、学习步长等超参解决。过拟合问题是由于在training数据集中分类效果太好,但是在Dev数据集中表现平平。解决该问题的方法是在loss函数中加入正则项,在训练时抑制特殊特征的作用,将其拉回到“just right”状态,其方法如下:
范数定义: