Pytorch Note24 防止过拟合
全部笔记的汇总贴: Pytorch Note 快乐星球
在我们的深度学习中,有时候由于我们的网络的容量过大或者数据集过少会造成过拟合,但是防止过拟合的最佳方法不是减少网络容量,下面讲解几个具体的方法来防止我们的过拟合
正则化
L2正则化是正则化(rcgularization)中比较常用的形式,它的想法是对于权重过大的部分进行惩罚,也就是直接在损失函数中增加权重的二范数量级,也就是引入w2,其中入是正则化强度,通常使用0.5,因为对于 w 2 w^2