深度学习 训练集与验证集损失分析

训练集损失下降，验证集损伤下降 ——>网络正在学习（理想状态）

训练集损失下降，验证集损失不变——>网络过拟合（尝试drpout,L2正则化等手段）

训练集损失不变，验证集损失下降——>数据集有问题（检测数据集）

训练集损失不变，验证集损失不变——>网络学习遇到瓶颈（减小学习率learning_rate或batch_size）

训练集损失上升，验证集损失上升——>网络结构设计不当、超参数设置不当、数据集经过清洗等

 

 

参考：

https://zhuanlan.zhihu.com/p/116116585  （摘自此博客）

https://blog.csdn.net/jacke121/article/details/79874555

https://blog.csdn.net/u011534057/article/details/51452564（拟合情况图示）