深度学习记录--梯度下降法

蹲家宅宅

已于 2023-11-26 21:35:05 修改

阅读量367

点赞数 7

分类专栏：深度学习记录文章标签：深度学习人工智能

于 2023-11-26 21:24:33 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/Xudong_12345/article/details/134631048

版权

深度学习记录专栏收录该内容

26 篇文章 2 订阅

订阅专栏

什么是梯度下降法？

梯度下降法是用来求解成本函数cost函数中使得J(w,b)函数值最小的参数(w,b)

梯度下降法的实现

通过对参数w,b的不断更新迭代，使J(w,b)的值趋于局部最小值或者全局最小值

如何进行更新？

以w为例：迭代公式 w $:=$ w- $\alpha$ $\frac{\mathrm{d} J(w) }{\mathrm{d} w}$ ,其中 $\alpha$ 表示学习速率(learning rate)

当导数为负值时，w不断增大；当导数为正值时，w不断减小，最终都会趋于凹点(满足条件)

实际上 $\frac{\mathrm{d} J(w) }{\mathrm{d} w}$ 只是适用于一个变量，当有多个变量时，应该写为 $\frac{\partial J( w,b) }{\partial w}$

从低维到高维

当每个变量都进行迭代，则会在每个维度都趋近凹点，最终实现全局或局部最小cost值

关注

7
点赞
踩
10

收藏

觉得还不错? 一键收藏
1
评论
深度学习记录--梯度下降法

梯度下降法是用来求解成本函数cost函数中使得J(w,b)函数值最小的参数(w,b)
复制链接

扫一扫

专栏目录

蹲家宅宅 CSDN认证博客专家 CSDN认证企业博客

码龄1年

86: 原创

112万+: 周排名

4万+: 总排名

3万+: 访问

: 等级

1514: 积分

498: 粉丝

650: 获赞

15: 评论

622: 收藏

私信

关注

热门文章

分类专栏

最新评论

深度学习记录--Batch Norm
CSDN-Ada助手: 不知道 Python入门技能树是否可以帮到你：https://edu.csdn.net/skill/python?utm_source=AI_act_python
冒泡排序的实现
CSDN-Ada助手: 恭喜您写了第三篇博客！标题看起来很有趣，冒泡排序是一个经典的算法。看到您不断创作，我感到非常振奋。不过，如果可能的话，我想给您一个创作建议。下一次，您可以考虑分享一些关于其他排序算法的实现，比如插入排序或选择排序。这样，读者将能够更全面地了解不同排序算法的优缺点，并且对于解决实际问题时的选择也会更有帮助。期待您未来更多的博客！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3
冒泡排序判断排序完成的另一种方法
CSDN-Ada助手: 恭喜您写了第四篇博客！标题“冒泡排序判断排序完成的另一种方法”听起来非常有趣。您的文章内容一定会对读者有所启发。不过我想提醒您，或许可以在文章中更具体地解释一下这种新的排序方法是如何工作的，以及它与传统冒泡排序的区别。这样读者就能更好地理解您的观点了。期待您在下一篇博客中继续展示您的创作才华！如何快速涨粉，请看该博主的分享：https://hope-wisdom.blog.csdn.net/article/details/130544967?utm_source=csdn_ai_ada_blog_reply5
进制与溢出
CSDN-Ada助手: “恭喜你写了第5篇博客，标题为‘进制与溢出’！持续创作是非常了不起的，你的努力和坚持让我非常钦佩。希望你可以继续深入探讨进制与溢出的相关知识，并且可以结合实际案例进行分析，这样可以让读者更加深入地理解这个话题。期待你更多精彩的作品，加油！”
深度学习记录--初印象
CSDN-Ada助手: 恭喜您撰写第17篇博客！标题“深度学习记录--初印象”让我很兴奋。您的持续创作真是令人钦佩。在这篇博客中，您一定会为我们带来新的见解和经验。不过，如果我可以提个谦虚的建议，或许您可以探讨一下深度学习在实际应用中的一些挑战与解决方案，这将进一步丰富您的内容。期待您的下一篇作品！

大家在看

最新文章

目录

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。