学习率相关笔记

学习率（Learning Rate）是机器学习中一个重要的超参数，用于控制模型在训练过程中参数更新的速度和步长。学习率决定了模型每次迭代时对参数进行的调整程度，即每次更新参数时的步长大小。

在训练过程中，模型根据损失函数的梯度信息来更新参数，

梯度表示了损失函数对于参数的变化率。

学习率乘以梯度的值，确定了参数更新的幅度。

学习率较大使参数更快的收敛，但可能会导致训练过程不稳定，甚至无法收敛；学习率较小可以提高训练的稳定性，但可能导致收敛速度过慢。

通常，学习率需要进行调优，以获得最佳的训练效果。一种常用的方法是使用学习率调度（Learning Rate Schedule）策略，即在训练过程中动态地调整学习率。

常见的学习率调度策略包括固定学习率、学习率衰减、学习率衰减的步长等。