PyTorch深度学习实战（9）——学习率优化

0. 前言

学习率( learning rate )是神经网络训练中一个重要的超参数，用于控制模型更新参数的步长大小，它决定了每次迭代中模型参数更新的幅度。学习率的选择对于训练的结果具有重要影响，学习率过高会导致模型震荡不收敛甚至发散，无法有效优化目标函数；而学习率过低则会导致收敛速度缓慢，需要更多的迭代才能达到较好的效果。本节首先介绍学习率如何影响模型训练，并通过修改学习率观察不同学习率对模型性能的影响。

1. 学习率简介

在神经网络训练中，我们通过最小化损失函数来优化模型的参数。梯度下降是一种常用的优化算法，它通过计算损失函数对于每个参数的导数来指导参数的更新，而学习率就是梯度下降算法中的一个重要的调节参数。
为了了解学习率对模型训练的影响，我们尝试拟合以下简单方程：

y = 3 ×