从线性回归谈到岭回归lasso回归再到结构风险最小化和参数缩减

最新推荐文章于 2023-05-07 01:21:36 发布
最新推荐文章于 2023-05-07 01:21:36 发布
阅读量6.2k 收藏 8
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 回归 参数缩减 结构风险
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xmu_jupiter/article/details/46594273

       回归和分类是机器学习算法所要解决的两个主要问题。分类大家都知道，模型的输出值是离散值，对应着相应的类别，通常的简单分类问题模型输出值是二值的，也就是二分类问题。但是回归就稍微复杂一些，回归模型的输出值是连续的，也就是说，回归模型更像是一个函数，该函数通过不同的输入，得到不同的输出。

       那么，什么是线性回归，什么是非线性回归呢？

线性回归与非线性回归

       前面说了，我们的回归模型是一个函数是吧，那么线性回归就是模型函数是由若干个基本函数线性加权得到的函数。也就是每一个基本函数前面都有一个权值来调和自己对于整个模型函数的重要性。然后，非线性函数就是各个基本函数并不是以线性加权形式结合。在线性回归模型里面有一大类，叫广义线性模型GLM，这里先不讲。

       线性回归模型中的各个基函数如何选择，模型的函数就会有不同的结果。而且基函数的选择有时可以将线性模型扩展到一般的非线性形式，只要你将基函数定义为一个非线性函数就好啦。虽然通常我们都是将每个基函数定义为输入向量数据每一维特征的一次方函数，也就是输入数据的每一维特征取值，但是我们仍然有必要聊聊其他的情况，这样才能感觉到线性回归的强大。

  •        首先，假设模型由N个基函数线性加权构成，我们可以在第一个取输入x的一次方，第二个取x的二次方，。。。第N个取N次方，这样模型就成为了x的多项式形式。这样会导致一个问题，每一个基函数的输入特征值会影响到其他基函数的值，因为它们共享变量x嘛。有一种函数可以解决这个问题，样条函数，有兴趣的同学可以查查。
  •       &n
最低0.47元/天 解锁文章

200万优质内容无限畅学
岭回归和Lasso 回归
IMWTJ123的博客
03-24 2171
线性回归存在问题： 在处理复杂的回归问题时，普通的线性回归问题会出现预测精度不够的问题，如果模型中特征之间有较强的相关关系时，即特征之间出现严重的多重共线性时，用普通最小二乘法估计模型参数，往往参数估计的方差太大，求出来的模型就很不稳定。再具体取值上与真值有较大偏差。这时就需要对数据中的特征进行提取，回归算法里面的特征选择的方法有岭回归和 Lasso 回归。这两种方法都属于正则化的特征选...
岭回归和LASSO回归
全栈O-Jay的博客
08-06 1167
岭回归和LASSO回归
岭回归和Lasso回归
Joker_sir5的博客
09-18 2万+
偏差和方差 机器学习算法针对特定数据所训练出来的模型并非是十全十美的，再加上数据本身的复杂性，误差不可避免。说到误差，就必须考虑其来源：模型误差 = 偏差（Bias）+ 方差（Variance）+ 数据本身的误差。其中数据本身的误差，可能由于记录过程中的一些不确定性因素等导致，这个我们无法避免，能做的只有不断优化模型参数来权衡偏差和方差，使得模型误差尽可能降到最低。 偏差：导致偏差的原因有多种，其...
岭回归和lasso回归
weixin_44618906的博客
11-09 644
岭回归和lasso回归 在 OLS 回归模型的损失函数上加入了不同的惩罚项，本质就是正则化。 文章目录(1) 古典回归模型1. 线性假定2. 严格外生性3. 无完全多重共线性4. 误差的球面方差(2) 岭回归和lasso回归1. 基本的线性回归2. 岭回归 (附加一个二范数)3. Lasso 回归 (附加一个一范数) (1) 古典回归模型 1. 线性假定 矩阵表示y=Xβ+ϵ\boldsymbo...
机器学习算法[1]--线性回归，岭回归，Lasso回归原理详解及sklearn实现
Gthan
06-20 2531
对机器学习算法-线性回归，岭回归，Lasso回归进行总结，包括原理详解和sklearn的实现
用TensorFlow实现lasso回归和岭回归算法的示例
09-20
通过本篇文档提供的代码框架和解释，我们了解了如何利用TensorFlow框架实现lasso回归和岭回归算法，并且学习了如何利用正则化项来处理线性回归中可能出现的过拟合问题以及如何通过调整正则化参数来控制模型的复杂度...
线性回归，岭回归，LASSO回归与逻辑回归
init__的博客
10-12 3551
线性回归 线性回归，顾名思义，是使用属性之间的线性组合以预测输出，引入常量项x0=1x_0=1x0​=1 后，其数学公式如下： y=∑i=0Nwixiy = \sum_{i=0}^N w_i x_iy=i=0∑N​wi​xi​ 一般来说，我们使用均方误差作为其损失函数，其数学公式如下： L=∑k=1(w⃗xk−yk)2L=\sum_{k=1} (\vec w x_k-y_k)^2L=k=1∑​(wxk​−yk​)2 那我们的 ...
机器学习——线性回归衍生(过拟合、正则化、岭回归和LASSO回归)
csdn_cc_try
09-08 2002
本文首先从正规方程的局限开始，先说明为什么会在线性回归中引入正则化，其中一个最重要的原因是过拟合，再从过拟合引入正则化，最后介绍在线性回归中加入不同正则化项的方法。
机器学习读书笔记之11 - 岭回归 & LASSO回归
跟随技术的脚步-linolzhang的专栏
01-15 2127
回归 就是 对数据进行拟合，我们常说的 线性回归、高斯回归、SVR、Softmax 都是属于 回归。         最小二乘大家再熟悉不过了，作为入门级的线性回归，可能会遇到的一些问题： （1）参数稳定性和精度问题         如果 观测数据和参数 之间有比较明显的线性关系，最小二乘回归会有很小的偏倚；         如果观测数据个数N远大于参数个数P时，最小二乘回归能得到较小
岭回归与Lasso回归
weixin_49855757的博客
10-22 411
岭回归 解决了线性回归参数β可能出现的不合理现象，弥补其短板： 1.当线性回归数据的行数小于列数 2.数据中变量之间存在多重线性关系 实现的思路其实就是在线性回归的基础上加一个l2惩罚项（正则项） 将模型做凸优化 而且系数本质上就是求半椭圆体与圆柱体的焦点 Lasso回归 岭回归模型解决了线性回归模型中矩阵X’X不可逆的办法是添加l2正则的惩罚项，但缺陷在浴室中保留建模时所有变量，无法降低模型的复杂度。对于此，Lasso回归采用了l1正则的惩罚项 将模型做凸优化 模型系数求解本质上就是求半椭圆体与
岭回归与lasso回归
gaoqian_1237的博客
09-27 1634
a. 什么是岭回归和lasso回归？为什么要用岭回归和lasso回归？岭回归选参的一般原则是什么。 对OLS进行范数1正则化叫Lasso回归。 对OLS进行范数2正则化叫岭回归。   进行岭回归和Lasso回归的主要目的： 1.解决病态矩阵的过拟合和欠拟合问题。 2.消除多重共线性造成的行列式趋近于0，从而引起的大系数问题。 选参遵循原则如下： （1）在岭回归中设计矩阵X已经中心化...
岭回归(Ridge Regression)和Lasso回归
热门推荐
Above the cloud
09-11 2万+
1、岭回归（Ridge Regression） 标准线性回归（简单线性回归）中： 如果想用这个式子得到回归系数，就要保证(X^TX)是一个可逆矩阵。 下面的情景：如果特征的数据比样本点还要多，数据特征n,样本个数m，如果n>m,则计算(XTX)−1会出错。因为(X^TX)不是满秩矩阵（行数小于列数），所有不可逆。 为了解决这个问题，统计学家引入了岭回归的概念： λ为岭系数, I为单位矩阵（对角线上全为1，其他元素为0）。单位矩阵为满秩矩阵，乘以λ仍然为满秩矩阵。 岭回归的代价函数： 附： 正则化
岭回归（Ridge Regression）和Lasso回归
m0_67995579的博客
10-01 3518
岭回归（Ridge Regression） 岭回归也是一种用于回归的线性模型，因此它的预测公式与普通最小二乘法相同。但在岭 回归中，对系数（w）的选择不仅要在训练数据上得到好的预测结果，而且还要拟合附加约束。我们还希望系数尽量小。换句话说，w 的所有元素都应接近于0。直观上来看，这意味着每个特征对输出的影响应尽可能小（即斜率很小），同时仍给出很好的预测结果。 这种约束是所谓正则化（regularization）的一个例子。正则化是指对模型做显式约束，以避免过拟合。岭回归用到的这种被称为 L2 正则化。
【人工智能】机器学习：岭回归与LASSO回归(Ridge/LASSO Regression)
AI天才研究院
05-07 1万+
岭回归与LASSO回归是将正则化思想引入线性回归模型后得到的方法。 岭回归对模型的参数加入L2正则化，能够有效的防止模型过拟合，解决非满秩下求逆困难的问题。 LASSO回归全称为Least Absolute Shrinkage and Selection Operator (最小绝对收缩选择算子, 套索算法) ，对模型的参数加入L1正则化，能够稀疏矩阵，进行庞大特征数量下的特征选择。
岭回归和lasso回归（转）
dianwei0041的博客
07-28 732
回归和分类是机器学习算法所要解决的两个主要问题。分类大家都知道，模型的输出值是离散值，对应着相应的类别，通常的简单分类问题模型输出值是二值的，也就是二分类问题。但是回归就稍微复杂一些，回归模型的输出值是连续的，也就是说，回归模型更像是一个函数，该函数通过不同的输入，得到不同的输出。 那么，什么是线性回归，什么是非线性回归呢？ 线性回归与非线性回归 前面说...
独孤九剑第一式-岭回归和Lasso回归
m0_37623374的博客
05-22 1832
🍌文章适合于所有的相关人士进行学习🍌 🍋各位看官看完了之后不要立刻转身呀🍋 🍑期待三连关注小小博主加收藏🍑 🍉小小博主回关快 会给你意想不到的惊喜呀🍉 文章目录🐲前言🐲岭回归🐮岭回归的引出🐮岭回归的系数推导🐮岭回归代码部分🐲Lasso回归模型🐮Lasso代码部分 🐲前言 从今天开始我就要传授给大家独孤九剑秘籍了，今天是第一🗡。 我们今天讲解的是机器学习中的岭回归和Lasso回归模型，这两种相对来讲比较简单一点，也比较容易理解，希望大家跟住。 🐲岭回归 🐮岭回归的引出 我们上次学习了关于多重线性回归模.
线性回归,lasso回归和岭回归的原理
最新发布
06-02
### 线性回归、Lasso回归和岭回归的原理比较 #### 1. 线性回归 线性回归是一种基本的监督学习算法，用于建立因变量（目标值）与一个或多个自变量（特征）之间的线性关系。其目标是最小化预测值与实际值之间的误差平方和（均方误差）。数学上，线性回归的目标函数可以表示为： \[ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} (h_\theta(x^{(i)}) - y^{(i)})^2 \] 其中 \( h_\theta(x) = \theta_0 + \theta_1x_1 + \theta_2x_2 + \dots + \theta_nx_n \) 是假设函数[^1]。 线性回归的一个主要问题是它对数据集中的噪声非常敏感，这可能导致模型过拟合或回归系数不稳定。 ```python from sklearn.linear_model import LinearRegression reg1 = LinearRegression() reg1.fit(X_train, y_train) print(reg1.coef_, reg1.intercept_) ``` #### 2. 岭回归 岭回归是线性回归的一种扩展，通过在损失函数中加入 L2 正则化项来防止过拟合。L2 正则化通过对回归系数施加惩罚，限制它们的大小，从而提高模型的稳定性。岭回归的目标函数可以表示为： \[ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} (h_\theta(x^{(i)}) - y^{(i)})^2 + \alpha \sum_{j=1}^{n} \theta_j^2 \] 其中 \(\alpha\) 是正则化参数，控制正则化的强度。较大的 \(\alpha\) 会导致更小的回归系数，从而减少模型复杂度[^2]。 ```python from sklearn.linear_model import Ridge reg2 = Ridge(alpha=1.0) reg2.fit(X_train, y_train) print(reg2.coef_, reg2.intercept_) ``` #### 3. Lasso 回归 Lasso 回归（Least Absolute Shrinkage and Selection Operator）同样是线性回归的一种扩展，但其使用的是 L1 正则化项。L1 正则化倾向于将部分回归系数缩减到零，从而实现特征选择。Lasso 回归的目标函数可以表示为： \[ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} (h_\theta(x^{(i)}) - y^{(i)})^2 + \alpha \sum_{j=1}^{n} |\theta_j| \] Lasso 回归的优势在于它能够自动选择重要的特征，并忽略不相关的特征[^3]。 ```python from sklearn.linear_model import Lasso reg3 = Lasso(alpha=1.0) reg3.fit(X_train, y_train) print(reg3.coef_, reg3.intercept_) ``` #### 比较分析 - **线性回归**：简单且易于理解，但容易受到噪声的影响，可能导致模型不稳定。 - **岭回归**：通过 L2 正则化项减少回归系数的波动，适用于所有特征都可能对目标变量有贡献的情况。 - **Lasso 回归**：通过 L1 正则化项实现特征选择，适用于高维数据集或存在冗余特征的情况。 ### 总结 线性回归、岭回归和 Lasso 回归各有优劣，具体选择取决于数据集的特性以及任务需求。如果需要特征选择，Lasso 回归是更好的选择；如果需要稳定的回归系数，岭回归更为合适[^1]。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值