理解
打个简单的比方,训练网络,就好比解方程,为了得到这个方程的极值点,训练的过程就好比是找准一个方向,不断的朝这个方向靠近,使得方程的值不断减小,最终达到极值点,而不收敛,就是,不论你怎么跑,方程的解都不减小.即达不到最后的极值点.在loss上就表现为稳定性的比较大.跟迭代不收敛或者系统不稳定差不多,上下波动不能趋近一个定值。
可能原因
网络不收敛直观体现是loss函数无法下降,本质上是网络或者训练方法有问题,包括bachsize尺寸,是否数据归一化,学习率设计,初始化权重等,这些都需要检查一下。
参考链接:https://www.cnblogs.com/cindycindy/p/13470925.html