RMSprop、动量梯度下降法与Adam优化 [Andrew Ng 深度学习笔记]

最新推荐文章于 2024-04-29 11:18:46 发布

Originum

最新推荐文章于 2024-04-29 11:18:46 发布

阅读量810

点赞数 2

分类专栏：人工智能理论分析 Andrew Ng 深度学习笔记文章标签： RMSprop 动量梯度下降法 Adam优化算法深度学习 Andrew Ng

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Originum/article/details/90341455

版权

理论分析同时被 3 个专栏收录

10 篇文章 0 订阅

订阅专栏

5 篇文章 0 订阅

订阅专栏

Andrew Ng 深度学习笔记

4 篇文章 0 订阅

订阅专栏

如图：

对于蓝色的情况，由于梯度下降时来回摆动，导致收敛很慢

若增大学习率，结果可能偏离函数的范围，如紫色的情况。为了避免摆动过大，就必须使用较小的学习率，进一步降低了收敛速度

我们希望的是在纵轴上减缓学习，在横轴上加快学习，如红色的情况。有多种方法可以实现

动量梯度下降法（Momentum）

此处用了指数加权平均的更新方法

因为纵轴有许多摆动，在求平均的时候都可以被抵消，最后几乎等于0，所以纵轴的学习被减缓了

在横轴，所有微分都指向一个方向，所以求平均之后几乎没有变化

所以动量梯度下降法就可以解决上述问题

RMSprop

on iteration t :
compute dw, db on current Mini-patch (和动量梯度下降法一样，每次先算出dw、db)

$Sdw=\beta _{2}Sdw+(1-\beta_{2})dw^{2}$

$Sdb=\beta _{2}Sdb+(1-\beta_{2})db^{2}$

$w=w-\alpha \frac{dw}{\sqrt{Sdw+\varepsilon }}$

$b=b-\alpha \frac{db}{\sqrt{Sdb+\varepsilon }}$

当dw很大时，Sdw就会很大，所以更新时dw就会除以同样很大的 $\sqrt{Sdw+\varepsilon }$ ，会有抑制作用

当dw很小时，更新时它就会除以同样很小的 $\sqrt{Sdw+\varepsilon }$ ，会有加速作用

所以RMSprop也可以解决上述问题

Adam优化算法

把上述两个方法结合起来，就是Adam优化算法。公式为：

on iteration t :
compute dw, db on current Mini-patch

$Vdw=\beta _{1}Vdw+(1-\beta_{1})dw\: ,\: Vdb=\beta _{1}Vdb+(1-\beta_{1})db$

$Sdw=\beta _{2}Sdw+(1-\beta_{2})dw^{2}\: ,\: Sdb=\beta _{2}Sdb+(1-\beta_{2})db^{2}$

$V_{dw}^{corrected}=\frac{V_{dw}}{1-\beta^{t}_{1}}\: ,\:V_{db}^{corrected}=\frac{V_{db}}{1-\beta^{t}_{1}}$

$S_{dw}^{corrected}=\frac{S_{dw}}{1-\beta^{t}_{2}}\: ,\:S_{db}^{corrected}=\frac{S_{db}}{1-\beta^{t}_{2}}$

$w=w-\alpha \frac{V_{dw}^{corrected}}{\sqrt{S_{dw}^{corrected}+\varepsilon }}$

$b=b-\alpha \frac{V_{db}^{corrected}}{\sqrt{S_{db}^{corrected}+\varepsilon }}$

关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
RMSprop、动量梯度下降法与Adam优化 [Andrew Ng 深度学习笔记]

如图：对于蓝色的情况，由于梯度下降时来回摆动，导致收敛很慢若增大学习率，结果可能偏离函数的范围，如紫色的情况。为了避免摆动过大，就必须使用较小的学习率，进一步降低了收敛速度我们希望的是在纵轴上减缓学习，在横轴上加快学习，如红色的情况。有多种方法可以实现动量梯度下降法（Momentum）此处用了指数加权平均的更新方法因为纵轴有许多摆动，在求平均的时候都可以被抵消，最后...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。