【算法】深度学习模型损失值loss不收敛，曲线震荡发散怎么办？

理想的深度学习模型，其损失曲线应该是逐渐下降，最终收敛的。

但是，有的时候loss偏偏不收敛，可能代码啥都没改，就换了个预训练模型，然后模型就崩了，你说气不气？

可能的解决方法——加大 batch_size

简而言之，在数据集类别不均衡的时候，如果batch_size很小，那么可能这一批样本都是同一个类别，导致后续模型判别有失偏颇。增大batch_size后，就会一定程度上缓解这个问题。

今天 batch_size 依次设置为 24，36 和 64，见证 loss 从发散、震荡再到收敛。

另外借鉴大佬的回答：

参考资料：
[1] https://www.zhihu.com/question/32673260/answer/71137399#showWechatShareTip

猜你喜欢：👇🏻
⭐【算法】SVM分类精度为0，结果很烂怎么办？
⭐【算法】深度学习神经网络都调哪些参数？
⭐【算法】梯度消失与梯度爆炸