学习笔记|Pytorch使用教程18(学习率调整策略)

最新推荐文章于 2023-02-21 15:53:32 发布

NotFound1911

最新推荐文章于 2023-02-21 15:53:32 发布

阅读量660

点赞数

分类专栏： Pytorch 自学文章标签： Pytorch 学习率调整

本文链接：https://blog.csdn.net/qq_24739717/article/details/103009880

版权

学习笔记|Pytorch使用教程18

本学习笔记主要摘自“深度之眼”，做一个总结，方便查阅。
使用Pytorch版本为1.2

为什么要调整学习率?
pytorch的六种学习率调整策略
学习率调整小结

一.为什么要调整学习率?

梯度下降: $W_{i+1}=W_{i}-g(W_{i})$
$W_{i+1}=W_{i}-LR*g(W_{i})$
学习率(learning rate)控制更新的步伐

1.class_LRScheduler
在这里插入图片描述
主要属性:

optimizer :关联的优化器
last_epoch :记录epoch数
base_Irs:记录初始学习率

主要方法:

step() :更新下一个epoch的学习率
get_Ir() :虚函数，计算下一个epoch的学习率

完整代码见:学习笔记|Pytorch使用教程05(Dataloader与Dataset)
在下处进行debug：scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=10, gamma=0.1)，并进入(step into)
发现进入的是class StepLR(_LRScheduler)这个类。
在这里插入图片描述
进入(step into):super(StepLR, self).__init__(optimizer, last_epoch)

观察初始化过程。
跳出，进入(step into):scheduler.step() # 更新学习率

二.pytorch的六种学习率调整策略

1.StepLR
功能:等间隔调整学习率
在这里插入图片描述
主要参数：

step_size :调整间隔数
gamma :调整系数
调整方式: $I r = I r * g a m m a$

测试代码：

import torch
import torch.optim as optim
import numpy as np
import matplotlib.pyplot as plt
torch.manual_seed(1)

LR = 0.1
iteration = 10
max_epoch = 200
# ------------------------------ fake data and optimizer  ------------------------------

weights = torch.randn((1), requires_grad=True)
target = torch.zeros((1))

optimizer = optim.SGD([weights]