1.确定初始学习率
在确定初始学习率的时候,从一个很小的值(例如 1e-7)开始,然后每一步指数增大学习率(例如扩大1.05 倍)进行训练。训练几百步应该能观察到损失函数随训练步数呈对勾形,选择损失下降最快那一段的学习率即可。
一般300个epoch就够了
改变学习率代码
if (epoch+1)%1==0:
for p in optimizer.param_groups:
p['lr']*=1.05
1.确定初始学习率
在确定初始学习率的时候,从一个很小的值(例如 1e-7)开始,然后每一步指数增大学习率(例如扩大1.05 倍)进行训练。训练几百步应该能观察到损失函数随训练步数呈对勾形,选择损失下降最快那一段的学习率即可。
一般300个epoch就够了
改变学习率代码
if (epoch+1)%1==0:
for p in optimizer.param_groups:
p['lr']*=1.05