常用梯度下降算法SGD, Momentum, RMSprop, Adam详解

摘要

本文给出常用梯度下降算法的定义公式, 并介绍其使用方法.

相关

配套代码, 请参考文章 :

纯Python和PyTorch对比实现SGD, Momentum, RMSprop, Adam梯度下降算法

系列文章索引 :

https://blog.csdn.net/oBrightLamp/article/details/85067981

正文

1. SGD

随机梯度下降 (Stochastic Gradient Descent) 是最基础的神经网络优化方法.

Stochastic 一词是随机的意思, 表示每次都随机选择样本计算损失值和梯度, 进行参数更新.

随机选择样本非常重要, 主要是为了避免模型参数在某种潜在错误方向上走的过远, 导致收敛速度过慢.

1.1 算法定义

SGD 参数更新的算法 :
$$p=p-lr\ast g$$

1.2 使用方法

假设一个神经网络模型经过 $n$ 次反向传播, 使用向量 $g$ 表示所有求得的梯度, 初始参数为 $p_0$, 求学习完成后的参数值 $p_n$.
$$g=(g_1,g_2,g_3,\cdots ,g_n)$$
求解过程 :
$$\begin{gathered} p_1=p_0-lr\ast g_1 \\ {p}_2=p_1-lr\ast g_2 \\ {p}_3=p_2-lr\ast g_3 \\ ⋮ \\ {p}_n=p_{n-1}-lr\ast g_n \end{gathered}$$

2. Momentum SGD

Momentum SGD 是基于动量的算法.

2.1 算法定义

Momentum SGD 参数更新的算法 :
$$\begin{gathered} v=m\ast v+g \\ p=p-lr\ast v \end{gathered}$$

其中 p, g, v 和 m 分别表示参数, 梯度, 速度和动量.
另外一种定义是 :
$$\begin{gathered} v=m\ast v+lr\ast g \\ p=p-v \end{gathered}$$

本文使用前一种算法, 也是 PyTorch 推荐使用的算法.

Momentum SGD 的必要参数是动量 m, 一般取 $m=0.9$

注意, 若 $m=0$ , Momentum SGD 将退化成 SGD 算法.

2.2 使用方法

假设一个神经网络模型经过 $n$ 次反向传播, 使用向量 $g$ 表示所有求得的梯度, 初始参数为 $p_0$, 初始速度为 0, 动量参数为 $m$, 学习率为 $lr$ , 求学习完成后的参数值 $p_n$.

求解过程 :
$$\begin{gathered} v_1=g_1,p_1=p_0-lr\ast v_1 \\ {v}_2=m\ast v_1+g_2,p_2=p_1-lr\ast v_2 \\ {v}_3=m\ast v_2+g_3,p_3=p_2-lr\ast v_3 \\ ⋮ \\ {v}_n=m\ast v_{(n-1)} \end{gathered}$$