过拟合、欠拟合和正则化

qq_45947498

于 2022-09-16 19:41:05 发布

阅读量359

点赞数

分类专栏：机器学习笔记文章标签：机器学习算法深度学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_45947498/article/details/126896160

版权

机器学习笔记专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1、过拟合和欠拟合

图1.通过图中的数据可以明显看出随着房子面积增大，住房价格逐渐稳定，因此该算法没有很好的拟合训练集，称为欠拟合或者叫做高偏差（后面会提到）

图2.曲线较好的穿过了每一个点。因此该算法较好的拟合了训练集

图3.为过拟合或叫做高方差

概括的说过拟合的问题，过拟合将会出现在变量过多的时候，这时候训练出来的假设函数 $h_{\Theta }(x)$ 很好的拟合训练集，所以代价函数J(θ)非常接近于0或者等于0。但是这样的曲线由于它千方百计地拟合训练集中地数据，就会导致它无法泛化到新的样本中。

泛化：一个假设模型应用到新样本的能力

新样本：就是那些没有出现在训练集的数据

2、如何解决过拟合问题

减少选取变量的数量

人工检查变量清单并决定那些变量重要
模型选择法对变量进行自动选择

正则化

保留所有特征变量，减少量级或参数θ的大小（当我们有很多特征变量时，而且其中每一个参数都能对预测值y产生影响）

3.、代价函数

我们要使 $\Theta _{3}\approx 0$ 和 $\Theta _{4}\approx 0$ ，当参数值越小，就意味着更简单的假设函数模型。这一长串函数就相当于一个二次函数。

4、线性回归的正则化

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
过拟合、欠拟合和正则化

很好的拟合训练集，所以代价函数J(θ)非常接近于0或者等于0。但是这样的曲线由于它千方百计地拟合训练集中地数据，就会导致它无法泛化到新的样本中。图1.通过图中的数据可以明显看出随着房子面积增大，住房价格逐渐稳定，因此该算法没有很好的拟合训练集，称为欠拟合或者叫做高偏差（后面会提到），当参数值越小，就意味着更简单的假设函数模型。概括的说过拟合的问题，过拟合将会出现在变量过多的时候，这时候训练出来的假设函数。图2.曲线较好的穿过了每一个点。因此该算法较好的拟合了训练集。新样本：就是那些没有出现在训练集的数据。
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。