【深度学习】验证集的loss小于训练集的loss的原因分析
原因1:在训练过程中应用正则化,但在验证/测试过程中未进行正则化。解决方法:如果在验证/测试期间添加正则化损失,则损失值和曲线将看起来更加相似。原因2:训练loss是在每个epoch过程中测量的,而验证loss是在每个epoch后测量的。解决方法:平均而言,训练损失的测量时间是前一个时期的1/2。如果将训练损失曲线向左移动半个epoch,则损失会更好。原因3:您的验证集可能比训练集更容易,或者代码中的数据/错误泄漏。解决方法:确保您的验证集大小合理,并且是从与您的训练集相同的..
原创
2020-06-15 18:21:49 ·
13577 阅读 ·
1 评论