代价函数和正则化

最新推荐文章于 2024-02-28 09:49:56 发布

小吴今天运动了吗

最新推荐文章于 2024-02-28 09:49:56 发布

阅读量400

点赞数

分类专栏：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_41628764/article/details/118901904

版权

一、代价函数的惩罚项

当模型过拟合时，要减少某个输入变量x对预测结果的影响，只需要保证其对应的参数θ足够小即可，这可以通过改动代价函数来实现。

例如

$^{min}_{\Theta}\frac{1}{2m}\sum_{i=1}^{m}(h_{\Theta}(x^{(i)})-y^{(i)})^{2}+1000\Theta_{2}^{2}+1000\Theta_{4}^{2}$

在这个代价函数中，要保证取最小值两个参数的值就需要接近0。

这种方式就是给模型加入惩罚项，一般会对所有的参数进行这样的约束。

一、线性回归的正则化

$J(\Theta) = \frac{1}{2m}[\sum_{i = 1}^{m}(h_{\Theta}(x^{i}))-y^{(i)})^{2}+\lambda\sum_{j=1}^{n}\Theta_{j}^{2}]$

1. Gradient descent

Repeat{

最低0.47元/天解锁文章

小吴今天运动了吗

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
代价函数和正则化

一、代价函数的惩罚项当模型过拟合时，要减少某个输入变量x对预测结果的影响，只需要保证其对应的参数θ足够小即可，这可以通过改动代价函数来实现。例如在这个代价函数中，要保证取最小值两个参数的值就需要接近0。这种方式就是给模型加入惩罚项，一般会对所有的参数进行这样的约束。一、线性回归的正则化1. Gradient descentRepeat{}2. 矩阵求解一般求解B是一个对角线上值为0，1，... ，1的n+1阶矩阵。对于不可...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。