常见深度学习优化器 BGD、SGD、MBGD及Adam 对比总结

---

0. 前言

本文介绍常见用于训练机器学习模型特别是深度学习模型的优化算法，它们的目标是通过最小化损失函数来更新模型参数。

1. Batch Gradient Descent (BGD)

批量梯度下降是一种迭代优化算法，用于寻找损失函数的最小值。给定损失函数 $J(\theta )$，其中 $\theta$ 是模型参数，批量梯度下降在每次迭代中计算整个训练集上损失函数关于参数 $\theta$ 的梯度，然后沿负梯度方向更新参数以减小损失。更新规则如下：

$${\theta }_{t+1}={\theta }_t-\eta \cdot {\nabla }_{\theta }J({\theta }_t)$$

其中，

• ${\theta }_t$ 表示在第 t 次迭代时的模型参数，
• $\eta$ 是学习率（step size），
• ${\nabla }_{\theta }J({\theta }_t)$ 是在当前参数值下，整个训练集上的损失函数梯度。

2. Stochastic Gradient Descent (SGD)

随机梯度下降同样是用于优化模型参数的方法，但与批量梯度下降不同的是，它在每次迭代时仅随机抽取一个训练样本（或一个批次中的单个样本），并以此计算损失函数关于参数的梯度，然后更新参数：
$${\theta }_{t+1}={\theta }_t-\eta \cdot {\nabla }_{}$$