减小模型复杂度

Pfirsich Zhang

已于 2024-05-17 19:40:39 修改

阅读量165

点赞数 2

文章标签：人工智能机器学习算法

于 2024-04-12 16:00:02 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_47755728/article/details/137682988

版权

本文介绍了正则化在防止机器学习模型过拟合中的作用，通过在Loss函数中添加L1和L2范数限制高次参数，以及详细解释了L1正则化（参数绝对值之和）和L2正则化（参数平方和的平方根）的区别。

摘要由CSDN通过智能技术生成

1.正则化

正则化是用来防止模型过拟合而采取的手段。我们对Loss函数增加一个限制条件，限制其较高次的参数大小不能过大。如回归模型：

$h_{_{\theta }}(x)=\theta _{0}+\theta _{1}x_{1}+\theta _{2}x_{2}^{2}+\theta _{3}x_{3}^{3}+\theta _{4}x_{4}^{4}$

正是那些高次项导致了过拟合的产生，所以如果我们能让这些高次项的系数接近于0的话，我们就能很好的拟合了，因此，我们对代价函数 $J(\theta )$ 进行修改如下：

$min_{\theta }J(\theta )=min_{\theta }\frac{1}{2m}[\sum_{i=1}^{m}(h_{\theta }(x^{i})-y^{i})^{2}+1000\theta_{3}^{2}+10000\theta _{4}^{2}]$

我们在方程中增加了两个限制条件，分别对 $\theta _{3}$ 和 $\theta _{4}$ 进行限制，不能让他们过高。很直观的看出，要想使 $J(\theta )$ 最小化，不仅仅需要 $h_{\theta }(x^{i})$ 足够拟合 $y^{i}$ ，同时还需要减少 $\theta _{3}$ 和 $\theta _{4}$

损失函数后面会添加一个额外项，常用的额外项一般有两种，称作 L1正则化和L2正则化，或者L1范数和L2范数，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。

区别：

L1是模型各个参数的绝对值之和。

L2是模型各个参数的平方和的开方值。

1.1 L1正则化

关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
减小模型复杂度

损失函数后面会添加一个额外项，常用的额外项一般有两种，称作 L1正则化和L2正则化，或者L1范数和L2范数，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。正是那些高次项导致了过拟合的产生，所以如果我们能让这些高次项的系数接近于0的话，我们就能很好的拟合了，因此，我们对代价函数。正则化是用来防止模型过拟合而采取的手段。我们对Loss函数增加一个限制条件，限制其。L1是模型各个参数的。L2是模型各个参数的。
复制链接

扫一扫

Pfirsich Zhang CSDN认证博客专家 CSDN认证企业博客

码龄4年

45: 原创

1万+: 周排名

3万+: 总排名

1万+: 访问

: 等级

849: 积分

294: 粉丝

395: 获赞

6: 评论

339: 收藏

私信

关注

热门文章

最新评论

C++ KMP算法
CSDN-Ada助手: 恭喜您发布了关于C++ KMP算法的博客！持续创作是提升自己技术水平的好方法，希望您能继续坚持分享知识。不妨考虑下一篇博客可以分享一些实际应用场景下的代码实现或者算法优化技巧，期待您的更多精彩内容！
C++ vector和string互相转换
CSDN-Ada助手: 恭喜您发布了第16篇博客！对于C++ vector和string互相转换的内容，非常实用！希望您可以继续保持创作的热情和质量。或许下一步可以深入探讨一些高级用法或者与其他数据结构的结合应用，不断拓展自己的知识面。期待您的下一篇文章！祝您创作愉快！
二叉树相关
CSDN-Ada助手: 恭喜作者发布了关于二叉树相关的博客！持续创作真的不容易，你的努力和热情让读者受益匪浅。希望你在未来的创作中可以继续深入探讨二叉树的相关知识，或者尝试探讨其他数据结构和算法的内容，相信会有更多人受益于你的分享。期待你的下一篇博客！
结构体struct和类class
CSDN-Ada助手: 恭喜您写了第8篇博客“结构体struct和类class”！您对结构体和类的深入探讨展现了您对编程知识的扎实掌握。希望您能继续保持创作的热情和努力，探索更多有趣的主题，比如数据结构、算法等，让读者们能够从您的博客中获益良多。期待您的下一篇作品！
for(int num:nums2)
CSDN-Ada助手: 恭喜用户写了第三篇博客！看到你对编程的热情和努力真的很令人钦佩。对于下一步的创作建议，我想建议你可以尝试深入探讨一些更复杂的编程概念，例如算法优化或者设计模式等。当然，这只是一个建议，希望你能继续保持写作的热情和耐心，不断提升自己的编程技能！期待看到更多精彩的内容！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3

大家在看

最新文章

2024

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。