98. 优化算法

于 2023-01-31 19:14:38 发布
阅读量310 收藏
点赞数 1
分类专栏： 深度学习 文章标签： 算法 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47505105/article/details/128819654
版权
本文深入探讨了优化问题中局部最小与全局最小的概念，并详细讲解了凸集与凸函数的特性及其在优化中的应用。通过对比不同优化算法如梯度下降、随机梯度下降及小批量随机梯度下降等，阐述了它们在深度学习模型训练中的作用。同时介绍了冲量法与Adam算法如何提升优化效率。
摘要由CSDN通过智能技术生成

1. 优化问题

在这里插入图片描述

2. 局部最小 vs 全局最小

在这里插入图片描述

3. 凸集

在这里插入图片描述

4. 凸函数

在这里插入图片描述

5. 凸函数优化

在这里插入图片描述

6. 凸和非凸例子

在这里插入图片描述

7. 梯度下降

在这里插入图片描述

8. 随机梯度下降

在这里插入图片描述

9. 小批量随机梯度下降

在这里插入图片描述

10. 冲量法

在这里插入图片描述

11. Adam

在这里插入图片描述
在这里插入图片描述

12. 总结

  • 深度学习模型大多是非凸
  • 小批量随机梯度下降是最常用的优化算法
  • 冲量对梯度做平滑
  • Adam对梯度做平滑，且对梯度的各个维度值做重新调整
chnyi6_ya
关注
专栏目录
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值