5种梯度下降法的公式

5种梯度下降法的公式推演：

1. 梯度下降 (Gradient Descent)

梯度下降法的更新公式为：

$${\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }J(\theta )$$

其中，${\theta }_t$ 是当前参数，$\eta$ 是学习率，$J(\theta )$ 是损失函数，${\nabla }_{\theta }J(\theta )$ 是损失函数关于参数的梯度。

通俗解释：这就像是一个人在下山，他每一步都选择最陡峭的方向（梯度的反方向）走一步，直到走到山脚（损失函数的最小值）。

2. Momentum

Momentum的更新公式为：

$$v_t=\gamma v_{t-1}+\eta {\nabla }_{\theta }J(\theta )$$
$${\theta }_{t+1}={\theta }_t-v_t$$

其中，$v_t$ 是速度，$\gamma$ 是动量因子。

通俗解释：这就像是一个人在滑冰，他每一步都会考虑上一步的速度和方向，然后再根据当前的梯度来调整自己的速度和方向。这样可以让他在下山的过程中更加平稳和快速。

3. AdaGrad

AdaGrad的更新公式为：

$$G_t=G_{t-1}+{\nabla }_{\theta }J(\theta )\odot {\nabla }_{\theta }J(\theta )$$
$${\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{G_t+ϵ}}\odot {\nabla }_{\theta }J(\theta )$$

其中，$G_t$ 是梯度平方的累积，$\odot$ 表示元素乘法，$ϵ$ 是一个很小的数，用来防止分母为0。

通俗解释：这就像是一个人在下山，他每一步都会根据之前走过的路的坡度（梯度的平方）来调整自己的步伐大小。如果之前走过的路很陡峭，他就会走得小心一些（步伐小一些）。

4. RMSProp

RMSProp的更新公式为：

$$E[g^2{]}_t=\gamma E[g^2{]}_{t-1}+(1-\gamma ){\nabla }_{\theta }J(\theta )\odot {\nabla }_{\theta }J(\theta )$$
$${\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{E[g^2{]}_t+ϵ}}\odot {\nabla }_{\theta }J(\theta )$$

其中，$E[g^2{]}_t$ 是梯度平方的指数移动平均。

通俗解释：这就像是一个人在下山，他每一步都会根据最近走过的路的坡度（梯度的平方）来调整自己的步伐大小，而不是像AdaGrad那样考虑整个历史。这样可以让他更加适应当前的地形。

5. Adam

Adam的更新公式为：

$$m_t={\beta }_1{m}_{t-1}+(1-{\beta }_1){\nabla }_{\theta }J(\theta )$$
$$v_t={\beta }_2{v}_{t-1}+(1-{\beta }_2){\nabla }_{\theta }J(\theta )\odot {\nabla }_{\theta }J(\theta )$$
$${\hat{m}}_t=\frac{m_t}{1-{\beta }_1^t}$$
$${\hat{v}}_t=\frac{v_t}{1-{\beta }_2^t}$$
$${\theta }_{t+1}={\theta }_t-\frac{\eta }{\sqrt{{\hat{v}}_t}+ϵ}{\hat{m}}_t$$

其中，$m_t$ 和 $v_t$ 分别是梯度和梯度平方的指数移动平均，${\beta }_1$ 和 ${\beta }_2$ 是衰减率，${\hat{m}}_t$ 和 ${\hat{v}}_t$ 是对 $m_t$ 和 $v_t$ 的偏差修正。

通俗解释：Adam就像是一个结合了Momentum和RMSProp优点的下山者。他既考虑了之前的速度和方向（Momentum），又根据最近走过的路的坡度来调整自己的步伐大小（RMSProp）。而且，他还会对自己的速度和坡度进行偏差修正，让自己更加准确地朝着山脚前进。