深度学习NNDL作业三

最新推荐文章于 2024-07-19 23:38:36 发布

库昊kkhh

最新推荐文章于 2024-07-19 23:38:36 发布

阅读量46

点赞数 1

文章标签：深度学习人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_62563369/article/details/133715818

版权

Softmax回归的风险函数：

$R(W)=-\tfrac{1}{N}\sum_{n=1}^{N}\l\left ( y_{}^{(n)} \right )\tau \log \hat{y}_{}^{(n)}$

加入正则化后：

$R(W)=-\tfrac{1}{N}\sum_{n=1}^{N}\l\left ( y_{}^{(n)} \right )\tau \log \hat{y}_{}^{(n)}+\lambda W_{}^{T}W$

正则化之后对R（W）求偏导更新公式：

$\tfrac{\partial R(W)}{\partial W}=-\tfrac{1}{N}\sum_{n=1}^{N}\left ( \hat{y}_{}^{(n)} -y_{}^{(n)}\right )x_{}^{(n)}+2\lambda W$

正则化后更新参数：

$W=W+\alpha \tfrac{1}{N}\sum_{n=1}^{N}\left ( \hat{y}_{}^{(n)} -y_{}^{(n)}\right )x_{}^{(n)}-2\lambda W$

正则化就是对最小化经验误差函数上加约束，根据公式，加入正则化后，在更新参数时每次需要减去 $2\lambda W$ ,使得参数不会太大，便不会造成溢出之类的错误发生，也可以避免更新参数时数值过大或过小，对参数进行限制，同时也会抑制过拟合。

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
深度学习NNDL作业三

在softmax回归的风险函数中，如果加上正则化会有什么影响
复制链接

扫一扫

库昊kkhh CSDN认证博客专家 CSDN认证企业博客

码龄3年

10: 原创

138万+: 周排名

19万+: 总排名

4346: 访问

: 等级

199: 积分

74: 粉丝

99: 获赞

4: 评论

95: 收藏

私信

关注

热门文章

最新评论

深度学习 NNDL 作业二
CSDN-Ada助手: 恭喜你开始了博客创作的旅程！深度学习 NNDL 作业二是一个很棒的主题，希望你能够在博客中分享更多关于这个主题的知识和经验。下一步，我建议你可以尝试加入一些个人见解和实践经验，让你的博客内容更加丰富和有深度。期待看到你更多精彩的作品！祝好！推荐【每天值得看】：https://bbs.csdn.net/forums/csdnnews?typeId=21804&utm_source=csdn_ai_ada_blog_reply1
NNDL 作业11 LSTM
CSDN-Ada助手: 恭喜你完成了第8篇博客！看来你对NNDL作业11的LSTM有着深入的研究和理解。接下来，我建议你可以尝试探索一些实际案例，或者是与其他领域的知识进行结合，给读者带来更多的启发和思考。当然，这只是我的一点建议，期待看到你更多的精彩创作！
NNDL 作业8 卷积导数反向传播
CSDN-Ada助手: 恭喜作者能够持续不断地分享关于NNDL的知识，这篇关于卷积、导数和反向传播的文章内容丰富，让我受益匪浅。希望作者在未来的创作中可以更深入地探讨一些实际案例，或者分享一些自己的学习心得体会，这样会更有助于读者的理解和学习。期待作者更多的精彩文章，加油！
深度学习 NNDL 作业五
CSDN-Ada助手: 恭喜您完成了第三篇博客！标题看起来很有趣，我很期待阅读您的深度学习作业五的内容。您的持续创作展现了您对学习的热情和努力，这种积极的态度值得称赞。希望您能继续保持这样的动力，坚持写下去。如果我可以提供一些建议的话，我建议您在博客中加入一些个人经验或案例，以丰富读者的阅读体验。期待您下一步的创作，再次恭喜您！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3
深度学习NNDL作业三
CSDN-Ada助手: 评论：非常欣喜看到你持续写作关于深度学习的博客！你对于softmax回归中加入正则化的影响提出了一个很有思考的问题。正则化在训练模型时可以帮助减少过拟合的现象，通过限制模型的复杂度，从而提高模型的泛化能力。在softmax回归中，加入正则化项可以使得模型更加鲁棒，对于一些噪声数据不敏感，提升分类的准确性和稳定性。除了正则化，还有一些相关的扩展知识和技能可以让你的博文更加丰富。例如，你可以进一步探索其他风险函数对softmax回归的影响，比如交叉熵损失函数。此外，了解深度学习中的优化算法，如梯度下降、随机梯度下降、动量法等也是非常有益的。另外，你可以深入研究一下卷积神经网络（CNN）和循环神经网络（RNN），它们在深度学习中有广泛的应用。继续保持写作，并不断拓展你的深度学习知识和技能，相信你会有更多有趣的发现和分享！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2

您愿意向朋友推荐“博客详情页”吗？

强烈不推荐
不推荐
一般般
推荐
强烈推荐

提交

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。