在网络训练过程中,经常要根据实际情况改变学习率以适应当前阶段的学习。
PyTorch中给出的lr_scheduler模块就可以实现多种学习率衰减。
1 导入模块
from torch.optim import lr_scheduler
2 在训练代码中optimizer定义后,规定衰减策略
衰减策略具体解释参考链接
https://www.jianshu.com/p/9643cba47655
- LambdaLR
scheduler = lr_scheduler.LambdaLR(optimizer,lr_lambda = lambda1)
<