训练集损失下降,验证集损伤下降 ——>网络正在学习(理想状态)
训练集损失下降,验证集损失不变——>网络过拟合(尝试drpout,L2正则化等手段)
训练集损失不变,验证集损失下降——>数据集有问题(检测数据集)
训练集损失不变,验证集损失不变——>网络学习遇到瓶颈(减小学习率learning_rate或batch_size)
训练集损失上升,验证集损失上升——>网络结构设计不当、超参数设置不当、数据集经过清洗等
参考:
https://zhuanlan.zhihu.com/p/116116585 (摘自此博客)
https://blog.csdn.net/jacke121/article/details/79874555
https://blog.csdn.net/u011534057/article/details/51452564(拟合情况图示)