关于loss不收敛的一些建议-loss问题汇总(不收敛、震荡、nan)
内容搬运自知乎:loss问题汇总(不收敛、震荡、nan)之前训练网络时,会先编写学习率随训练epoch的增加而逐渐减低的函数,然后选取一个相对较大的学习率(一般从e-2量级开始),选取一个epoch能够接受的batchsize,如果loss稳定下降较快,则开始训练.从未体验过学习率和batchsize搭配之难.最近新看了一篇论文ABCNN(有空再细讲),采用开源的tensorflow工程训练一下,效果很好,因工程需要,开始将其移植到pytorch框架下,移植完毕后,关于loss函数遇到不少问题,在此记录
转载
2022-04-15 11:36:54 ·
10424 阅读 ·
1 评论