验证集loss为什么比训练集loss小？

有以下几种情况可以考虑：
在线程中，Aurélien简洁明了地解释了训练深度神经网络时验证损失可能低于训练损失的三个原因：

原因1：在训练期间应用正则化，但在验证/测试期间未进行正则化。如果在验证/测试期间添加正则化损失，则损失值和曲线将看起来更加相似。
原因2：训练损失是在每个epoch期间测量的，而验证损失是在每个epoch后测量的。平均而言，训练损失的测量时间是前一个时期的1/2。如果将训练损失曲线向左移动半个epoch，则损失会更好。
原因3：您的验证集可能比训练集更容易，或者代码中的数据/错误泄漏。确保您的验证集大小合理，并且是从与您的训练集相同的分布（和难度）中抽取的。
奖励：您的模型可能over-regularizing 。尝试减少正则化约束，包括增加模型容量（即通过更多参数使其更深），减少dropout，降低L2权重衰减强度等。