Adam优化算法

最新推荐文章于 2025-04-07 14:28:40 发布

从流域到海域

最新推荐文章于 2025-04-07 14:28:40 发布

阅读量8.6k

点赞数 7

分类专栏：深度学习与机器学习文章标签： Adam优化算法 Adam Authorization Algorithm 梯度下降

本文链接：https://blog.csdn.net/Solo95/article/details/84842144

版权

深度学习与机器学习专栏收录该内容

79 篇文章

订阅专栏

Adam Optimization Algorithm.

Adam refer to Adaptive Moment estimation.

要看懂这篇博文，你需要先看懂：

整理并翻译自吴恩达深度学习系列视频：
https://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001701052&cid=2001694315

RMSprop and the Adam optimization algorithm, is one of those rare algorithms that has really stood up, and has been shown to work well across a wide range of deep learning architectures.
And the Adam optimization algorithm is basically taking momentum and RMSprop and putting them together.

Adam优化算法

基本思想是把动量梯度下降和RMSprop放在一起使用。

算法描述

这个算法描述来自花书《deep learning》，与下面的计算公式不共享参数记号。
在这里插入图片描述

Adam优化算法计算方法

动量梯度下降部分：
$v_{dw}=\beta_1 v_{dw}+(1-\beta_1)dW$ 即指数加权平均，下同。
$v_{db}=\beta_1 v_{db}+(1-\beta_1)db$

RMSprop部分：
$S_{dw}=\beta_2S_{dw}+(1-\beta_2)dW^2$ <- element-wise 即平方版本的指数加权平均，下同
$S_{db}=\beta_2S_{db}+(1-\beta_2)db^2$ <- element-wise

起始bias修正：
$v_{dw}^{correct}=\frac{v_{dw}}{1-\beta_1^t}$
$v_{db}^{correct}=\frac{v_{db}}{1-\beta_1^t}$
$S_{dw}^{correct}=\frac{S_{dw}}{1-\beta_2^t}$
$S_{db}^{correct}=\frac{S_{db}}{1-\beta_2^t}$

更新parameter变成：
$W-\alpha \frac{v_{dw}^{correct}*dW}{\sqrt{S_{dw}^{correct}+\epsilon}}$ 分子来自动量梯度下降分母来自RMSprop 下同
$b-\alpha \frac{v_{db}^{correct}*db}{\sqrt{S_{db}^{correct}+\epsilon}}$

解释说明

Adam = adaptive moment estimation，自适应性炬估计。
$\beta_1$ 计算的是导数的均值(使用加权指数平均)。这称为第一炬(the first moment)。
$\beta_2$ 计算的是平方版本的指数加权平均。这称为第二炬(the second moment)。