网络收敛问题汇总

loss太大：把lr改小

loss的下降速度非常慢：batchsize太小

训练集的损失已经下降到比较满意的值，但是（！！！！）验证集上的损失几乎没有下降，或者是说相比与训练集的损失值不在一个数量级上！！！

最本质的原因：网络模型在小数据库上出现过拟合。

训练数据太少

精度不高或者为0的问题结果

来自 <http://www.cnblogs.com/hust-yingjie/p/6535078.html> 
https://blog.csdn.net/yang_502/article/details/72566168
https://blog.ailemon.me/2018/04/09/deep-learning-the-ways-to-solve-underfitting/

深度学习的效果很大程度上取决于参数调节的好坏

来自 <https://www.zhihu.com/question/25097993> 

数据增广
https://blog.csdn.net/timeflyhigh/article/details/52015175

训练过程中train loss不断下降，然而test loss却不断升高，还有就是accuracy并不是很高只有60%
过拟合
来自 <http://caffecn.cn/?/question/1265> 
train loss与test loss结果分析
来自 <https://blog.csdn.net/SMF0504/article/details/71698354> 
设置过优化函数sgd（使用adam也不收敛），且必须使dropout为0，训练集才开始收敛
来自 <https://blog.csdn.net/u010911921/article/details/71079367/> 

解决过拟合
http://zongweiz.leanote.com/post/%E6%B7%B1%E5%BA%A6%E7%BD%91%E7%BB%9C%E7%9A%84%E8%BF%87%E6%8B%9F%E5%90%88%E9%97%AE%E9%A2%98%E8%AE%A8%E8%AE%BA

如果训练误差曲线和测试误差曲线之间有很大的空隙，说明你的模型可能有过拟合的问题。

来自 <https://keras-cn.readthedocs.io/en/latest/for_beginners/FAQ/#_3> 

增加训练数据集 用个参数少点的模型 对损失函数增加惩罚项