pytorch 查看当前学习率_pytorch学习(十三)—学习率调整策略

学习率

学习速率(learning rate)是指导我们该如何通过损失函数的梯度调整网络权重的超参数。学习率越低，损失函数的变化速度就越慢。虽然使用低学习率可以确保我们不会错过任何局部极小值，但也意味着我们将花费更长的时间来进行收敛，特别是在被困在高原区域的情况下。

new_weight = existing_weight — learning_rate * gradient

image.png

图1采用较小的学习率，梯度下降的速度慢；

图2采用较大的学习率，梯度下降太快越过了最小值点，导致不收敛，甚至震荡。

image.png

目的

了解pytorch中学习率调整的方法

测试环境

windows 10

Ananconda 3, python3.7

pytorch 1.0

pycharm

实验/测试

pytorch中相关的API

关于学习率调整，pytorch提供了torch.optim.lr_scheduler

image.png

主要提供了几个类：