验证数据集可以用来调整模型参数
在数据不够多的时候,k折交叉验证是一种常用的验证方法
k折交叉验证将数据分为k份,每次选择一份用于验证模型,其余的用于训练模型
过拟合是指训练误差很低,泛化误差相对于训练误差要高很多
欠拟合是指训练误差和泛化误差都无法到达一个较低的水平
过拟合和欠拟合都是在训练中容易遇到的经典问题
模型复杂度低容易导致欠拟合
训练数据集小容易导致过拟合
解决欠拟合可以考虑增加模型的复杂度
L2范数正则化在损失函数的基础上添加了L2范数惩罚项
丢弃法通过随机丢弃层间元素,使模型不依赖于某一个元素来应对过拟合的
L2范数正则化是权重衰减的一种方式