【机器学习】优化器/SAM

损失函数与优化器

在机器学习中，优化器是用于更新和优化模型参数（如神经网络中的权重和偏置）的算法，即根据损失函数的梯度信息，指导模型参数的更新，使其逐步逼近最佳状态，从而达到更高的预测准确性或泛化能力。

• 损失函数（例如均方误差、交叉熵等）用于衡量模型预测结果与实际值之间的差异。
• 优化器的任务是通过不断调整模型参数，使损失函数的值逐渐降低，达到最小化的效果。

1. 优化器的工作原理

优化器**通常基于梯度下降（Gradient Descent）**或其变体来更新模型参数。核心思路是：

• 计算损失函数相对于模型参数的梯度：这反映了模型参数如何影响损失值。
• 更新参数：沿着梯度的反方向调整参数，使损失函数的值逐渐减小。

梯度下降的数学公式：
$$\theta =\theta -\alpha \cdot {\nabla }_{\theta }J(\theta )$$
其中：

• $\theta$ 是模型参数，
• $\alpha$ 是学习率（即每次更新的步长），
• ${\nabla }_{\theta }$