【深度学习基础知识 - 17】模型不收敛的原因以及处理方法

模型不收敛通常指模型在训练过程中无法收敛，这并不能说明模型无效，可以从以下几个方面分析。

模型不收敛的原因以及处理方法

• 数据量过大，而模型过小。
• 学习率设置过大，导致了loss震荡，进而导致模型无法收敛。
• 数据分布较为复杂，没有进行归一化设置，导致每次迭代模型都往不同的方向上优化。
• 可能出现了梯度爆炸或者梯度消失，可以看梯度消失和梯度爆炸的解决方法.
• 代码是不是有bug，导致迭代的时候优化器没有进行参数的更新。

博主会持续更新一些深度学习相关的基础知识以及工作中遇到的问题和感悟，喜欢请关注、点赞、收藏。