模型训练损失值不变_实验笔记—深度学习模型训练技巧二

点击蓝字关注我们

AI研习图书馆，发现不一样的世界

炼丹笔记

深度学习炼丹笔记二

深度学习模型训练技巧及可能出现的问题分析

1、导致模型训练不收敛的原因有哪些？一、数据和标签实验数据分类或标注是否准确？数据是否干净？数据集太小一般不会带来不收敛的问题，只要你一直在训练总会收敛(意外除外)。反而不收敛一般是由于样本的信息量太大导致网络不足以拟合住整个样本空间。样本少只可能带来过拟合的问题。二、学习率设定不合理在自己训练新网络时，可以从0.1开始尝试，如果loss不下降的意思，那就降低，除以10，用0.01尝试，一般来说0.01会收敛，不行的话就用0.001. 学习率设置过大，很容易发生Loss震荡。不过，刚刚开始训练时，不建议把学习率设置过小，尤其是在训练的开始阶段。在开始阶段我们不能把学习率设置的太低否则loss不会收敛。常见做法是逐渐尝试，从0.1，0.01，0.001，0.0001 ...... 逐渐减小直到正常为止，有的时候学习率太低走不出低谷，把冲量提高也是一种方法&#