机器学习-回归总结-标准回归，局部加权回归，岭回归，lasso，前向逐步回归

最新推荐文章于 2023-01-07 10:56:19 发布

贰锤

最新推荐文章于 2023-01-07 10:56:19 发布

阅读量1.6k

点赞数

分类专栏：机器学习文章标签：回归机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_37895339/article/details/78535517

版权

这篇博客探讨了多种回归方法，包括标准回归、局部加权线性回归（解决欠拟合问题）、岭回归（处理数据矩阵非满秩）和lasso回归（限制回归系数的平方和）。此外，还介绍了前向逐步回归作为简化模型的一种策略，以及在模型选择中如何平衡偏差和方差的重要性。

摘要由CSDN通过智能技术生成

标准回归函数

使误差平方和最小

min w \sum i = 1 n (y i - w 0 - \sum j = 1 m x i j w j) 2

$\mathop \min\limits_w \sum\limits_{i=1}^n(y_i - w_0-\sum\limits_{j=1}^mx_{ij}w_j)^2$
回归系数公式可写为

w = (X T X) - 1 X T y

$w= (X^TX)^{-1}X^Ty$

局部加权线性回归

标准线性回归当样本数据不成线性时，可能会出现欠拟合的现象。可以通过局部加权线性回归解决，给待测电附近的每个点赋予一定的权重，然后在通过最小均方差的方法计算，每次预测均需要遍历所有样本数据集。通过核函数，来给待测点附近的点赋予较高的权重，常用高斯核

min w \sum i = 1 n w i (y i -

最低0.47元/天解锁文章

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
机器学习-回归总结-标准回归，局部加权回归，岭回归，lasso，前向逐步回归

标准回归函数使误差平方和最小 minw∑i=1n(yi−w0−∑j=1mxijwj)2\mathop \min\limits_w \sum\limits_{i=1}^n(y_i - w_0-\sum\limits_{j=1}^mx_{ij}w_j)^2 回归系数公式可写为 w=(XTX)−1XTyw= (X^TX)^{-1}X^Ty局部加权线性回归标准线性回归当样本数据不成线性时，可能
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。