深度学习记录--Adam optimization algorithm

最新推荐文章于 2024-05-29 17:02:10 发布

蹲家宅宅

最新推荐文章于 2024-05-29 17:02:10 发布

阅读量467

点赞数 9

分类专栏：深度学习记录文章标签：深度学习人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Xudong_12345/article/details/135730662

版权

深度学习记录专栏收录该内容

26 篇文章 2 订阅

订阅专栏

Adam优化算法

momentum和RMSprop的结合

初始化参数：

$V_{dw}=0,V_{db}=0,S_{dw}=0,S_{db}=0$

先进行momentum过程：

$V_{dw}=\beta1 V_{dw}+(1-\beta1)dw$

$V_{db}=\beta1 V_{db}+(1-\beta1)db$

然后进行RMSprop过程：

$S_{dw}=\beta2 S_{dw}+(1-\beta2)(dw)^2$

$S_{db}=\beta2 S_{db}+(1-\beta2)(db)^2$

接着进行偏差修正：

$V_{dw}^{corrected}=V_{dw}/(1-\beta1^t)$ , $V_{db}^{corrected}=V_{db}/(1-\beta1^t)$

$S_{dw}^{corrected}=S_{dw}/(1-\beta2^t)$ , $S_{db}^{corrected}=S_{db}/(1-\beta2^t)$

最后更新权重：

$w:=V_{dw}^{corrected}/\sqrt{S_{dw}^{corrected}}+\varepsilon$

$b:=V_{db}^{corrected}/\sqrt{S_{db}^{corrected}}+\varepsilon$

超参数的设置

一般地，学习率 $\alpha$ 需要经过多次调试之后才可得到

其他超参数一般设置为：

$\beta1=0.9, \beta2=0.999, \varepsilon=10^{-8}$

关注

9
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
深度学习记录--Adam optimization algorithm

需要经过多次调试之后才可得到。
复制链接

扫一扫

专栏目录

蹲家宅宅 CSDN认证博客专家 CSDN认证企业博客

码龄1年

86: 原创

111万+: 周排名

4万+: 总排名

3万+: 访问

: 等级

1514: 积分

498: 粉丝

650: 获赞

15: 评论

622: 收藏

私信

关注

热门文章

分类专栏

最新评论

深度学习记录--Batch Norm
CSDN-Ada助手: 不知道 Python入门技能树是否可以帮到你：https://edu.csdn.net/skill/python?utm_source=AI_act_python
冒泡排序的实现
CSDN-Ada助手: 恭喜您写了第三篇博客！标题看起来很有趣，冒泡排序是一个经典的算法。看到您不断创作，我感到非常振奋。不过，如果可能的话，我想给您一个创作建议。下一次，您可以考虑分享一些关于其他排序算法的实现，比如插入排序或选择排序。这样，读者将能够更全面地了解不同排序算法的优缺点，并且对于解决实际问题时的选择也会更有帮助。期待您未来更多的博客！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3
冒泡排序判断排序完成的另一种方法
CSDN-Ada助手: 恭喜您写了第四篇博客！标题“冒泡排序判断排序完成的另一种方法”听起来非常有趣。您的文章内容一定会对读者有所启发。不过我想提醒您，或许可以在文章中更具体地解释一下这种新的排序方法是如何工作的，以及它与传统冒泡排序的区别。这样读者就能更好地理解您的观点了。期待您在下一篇博客中继续展示您的创作才华！如何快速涨粉，请看该博主的分享：https://hope-wisdom.blog.csdn.net/article/details/130544967?utm_source=csdn_ai_ada_blog_reply5
进制与溢出
CSDN-Ada助手: “恭喜你写了第5篇博客，标题为‘进制与溢出’！持续创作是非常了不起的，你的努力和坚持让我非常钦佩。希望你可以继续深入探讨进制与溢出的相关知识，并且可以结合实际案例进行分析，这样可以让读者更加深入地理解这个话题。期待你更多精彩的作品，加油！”
深度学习记录--初印象
CSDN-Ada助手: 恭喜您撰写第17篇博客！标题“深度学习记录--初印象”让我很兴奋。您的持续创作真是令人钦佩。在这篇博客中，您一定会为我们带来新的见解和经验。不过，如果我可以提个谦虚的建议，或许您可以探讨一下深度学习在实际应用中的一些挑战与解决方案，这将进一步丰富您的内容。期待您的下一篇作品！

您愿意向朋友推荐“博客详情页”吗？

强烈不推荐
不推荐
一般般
推荐
强烈推荐

提交

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。