情况描述:准确率不断上升,看着情况很好,但是等到了一定时间,突然呈现断崖式下降的趋势。
之前使用的固定学习率,adam优化器,考虑损失函数应该是没有什么问题的,排查原因,换成SGD优化器,学习率随着迭代次数衰减,衰减公式我是按照我那篇论文给出的方式,大家可以找一找余弦衰减或者其他学习率衰减方式,目前来看,准确率稳定下来了。
loss损失曲线下降到一定程度突然上升,准确率突然下降
最新推荐文章于 2023-01-07 11:17:48 发布
情况描述:准确率不断上升,看着情况很好,但是等到了一定时间,突然呈现断崖式下降的趋势。
之前使用的固定学习率,adam优化器,考虑损失函数应该是没有什么问题的,排查原因,换成SGD优化器,学习率随着迭代次数衰减,衰减公式我是按照我那篇论文给出的方式,大家可以找一找余弦衰减或者其他学习率衰减方式,目前来看,准确率稳定下来了。