R语言：岭回归分析选择变量

最新推荐文章于 2023-01-26 11:34:29 发布
最新推荐文章于 2023-01-26 11:34:29 发布
阅读量1.1k 收藏 10
点赞数
分类专栏： R语言大学作业 文章标签： r语言 回归 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mrrunsen/article/details/126716276
版权
本文介绍了R语言中如何处理多重共线性问题，通过岭回归和Lasso回归分析数据。在分析2003-2017年中国统计年鉴数据时，发现变量间存在高度相关性，导致多重共线性。文章详细展示了读入数据、建立岭回归模型、检查变量共线性、实施岭回归和Lasso回归的过程，并指出Lasso回归选择的最优变量为X1、X5、X3、X2。
摘要由CSDN通过智能技术生成

我们在回归分析的时候，古典模型中有一个基本的假定就是自变量之间是不相关的，但是如果我们在拟合出来的回归模型出现了自变量之间高度相关的话，可能对结果又产生影响，我们称这个问题为多重共线性，多重共线性又分为两种，一种是完全多重共线性，还有一种是不完全多重共线性，产生的原因有几个方面；
（1）变量之间存在内部的联系
（2）变量之间存在共同的趋势等
造成的后果分两部分：
（1）当自变量线性相关的时候，参数将无法唯一确定，参数的方差将趋近于无穷大，这时候无法使用最小二乘法
不完全多重共线性造成的后果
（1）参数估计量的方差随着多重共线性的严重程度的增加而增加，但是参数是可以估计的
（2）进行统计检验时容易删除掉重要解释变量
因为当多重共线性的时候容易造成自变量对因变量不显著，从模型中错误的剔除，这样容易删除重要解释变量的设定；因此我们选择岭回归来解决。

1.1、数据列表

在这里插入图片描述

数据来源：2003-2017 年中国统计年鉴

对于上面的数

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Mrrunsen
关注
专栏目录
订阅专栏
ISLR统计学习导论之R语言应用（六）：R语言实现变量选择和岭回归
阿里云专家博主、数据科学领域优质创作者、统计er在读
04-03 1万+
在特征选择中，我们传统的统计方法有向前逐步回归，向后逐步回归等。然后我们可以选择对应的评估指标来确定最佳变量个数。例如AIC,BIC，调整后r2等。但是此时我们是对所有的数据来进行训练拟合的，但是我们往往更关心一个模型在未知数据集上的效果。因此我们可以使用交叉验证的方法来帮助我们比较不同模型的效果。一般我们选取k折交叉验证，k=10 or k=5。然后根据k折交叉验证的最后结果来确定我们选择的变量。最后在完整的数据集上进行训练，得到最终模型的估计值。这一章介绍的是最基本的特征选择的方法，
变量选择--岭回归
susan_wang1的博客
01-31 4811
岭回归（Ridge regression）
岭回归，Lasso——变量选择技术
热门推荐
大羚羊的学习博客
07-07 2万+
本文内容主要基于炼数成金机器学习课程，并且LAR部分参考了文章Lasso算法学习。 解决多重共线性和变量选择的两种方法——岭回归（L2范数）&Lasso（L1范数）。 目录 1 多元线性回归的最小二乘解 2 岭回归 3 LASSO 4 LASSO的计算方法 1 多元线性回归的最小二乘解 Q(β)是残差的平方和的向量化表示，求偏导后得到的解为最小二乘估计； 6.22式中矩...
r ridge回归_机器学习 | LASSO回归姊妹篇：R语言实现岭回归分析
weixin_39756445的博客
11-21 2578
作者：科研猫 | 西红柿责编：科研猫 | 馋猫前面的教程中，我们讲解了在高通量数据中非常常用的一种模型构建方法，LASSO 回归（见临床研究新风向，巧用LASSO回归构建属于你的心仪模型）。作为正则化方法的一种，除了LASSO，还有另外一种模型值得我们学习和关注，那就是岭回归（ridge regression）。今天，我们将简要介绍什么是岭回归，它能做什么和不能做什么。在岭回归中，范数项是所有系...
机器学习3-岭回归，Lasso，变量选择技术
只是甲的博客
06-22 4358
岭回归 回归的变量选择
第八章 变量选择与正则化 – 岭回归分析
12-22
岭回归分析0 载入库1 数据预处理2 普通线性回归和岭回归2.1 最小二乘法，参数估计2.2 岭回归，参数估计，固定岭参数2.3 岭回归，按 CV 标准自动选择岭参数2.4 列举岭参数的值，计算回归参数，画出岭迹图，计算 VIF 0 载入库 载入 sklearn 模块中的线性回归与岭回归的函数 import numpy as np import matplotlib.pyplot as plt import pandas as pd np.set_printoptions(suppress=True) #不用科学计数法输出 from sklearn.linear_model import Li
多元线性回归方程建模：使用岭回归与lasso算法选择变量
Solomon1558的专栏
12-06 1万+
前言：本文是作者学习机器学习多元线性回归部分，就消除多重共线性、选择变量问题而做的练习。参照了《R-modeling》.薛毅.P331 例6.10例子，使用到R语言的MASS包，ridge包，lars包。
数据预处理—2.为什么Lasso回归可以做特征选择(变量挑选)而岭回归做不到呢？
柳杰的博客
03-15 3268
文章目录1.问题解答 1.问题解答   Lasso回归与岭回归都是对线性回归进行正则化。 线性回归的损失函数为： RSS=J(w)=∑i=1N(yi−w0−∑j=1pwjxij)2RSS=J(w) = \sum\limits_{i=1}^{N}(y_i-w_0-\sum\limits_{j=1}^{p}w_jx_{ij})^2RSS=J(w)=i=1∑N​(yi​−w0​−j=1∑p​wj​xij​)2 岭回归的损失函数为： J(w)=∑i=1N(yi−w0−∑j=1pwjxij)2+λ∑j=1pwj2=R
机器学习(四)变量选择技术----------岭回归，Lasso
可乐联盟
01-04 3830
机器学习(四)变量选择技术----------岭回归，Lasso   我们回顾一下之前线性回归模型里面的一元线性回归模型和多元线性回归模型，里面在谈论如何找到最佳系数时，使用的是最小二乘法，在这里我们先把多元线性回归的最小二乘解简化表达一下 这里可能会有疑问的是X的第一列代表是什么，为什么全是1，第一列代表截距项 多元线性回归的最小二乘解是无偏估计的，什么是无偏估计呢？简单来说就是通过...
对Lasso可以做特征选择，而Ridge却不行的详细解释
CarpeDiem
03-14 3182
为了限制模型参数的数值大小，就在模型原来的目标函数上加上一个惩罚项，这个过程叫做正则化（Regularization）。如果惩罚项是参数的l_2范数，就是岭回归(Ridge Regression)；如果惩罚项是参数的l_1范数，就是套索回归（Lasso Regrission）。本篇从几何和代数两个角度解释为什么Lasso更倾向于稀疏解，Ridge更倾向于稠密解，
r library car_R语言实战之回归分析
weixin_39896617的博客
10-23 2028
从许多方面来看，回归分析都是统计学的核心。它其实是一个广义的概念，通指那些用一个或多个预测变量（也称自变量或解释变量）来预测响应变量（也称因变量、效标变量或结果变量）的方法。通常，回归分析可以用来挑选与响应变量相关的解释变量，可以描述两者的关系，也可以生成一个等式，通过解释变量来预测响应变量。本文主要讲述了线性回归的问题，详细描述了线性回归的建模、模型诊断、模型操作及模型可视化等。《R语言实战--...
r语言岭回归参数选择_多重共线性的解决方法之——岭回归与LASSO
weixin_33824590的博客
12-23 3517
多元线性回归模型的最小二乘估计结果为如果存在较强的共线性，即 中各列向量之间存在较强的相关性，会导致的从而引起对角线上的 值很大并且不一样的样本也会导致参数估计值变化非常大。即参数估计量的方差也增大，对参数的估计会不准确。因此，是否可以删除掉一些相关性较强的变量呢？如果p个变量之间具有较强的相关性，那么又应当删除哪几个是比较好的呢？本文介绍两种方法能够判断如何对具有多重共线性的模型进行变量剔除。即...
r语言岭回归参数选择_岭参数k的存在性及其选择
weixin_36245388的博客
01-09 4668
岭参数k的存在性及其选择在岭参数的选择上，通常情况下人们的目的是要选择 k 值，此值使得均方误差达到最小，而这个 k 值的选择又离不开未知参数β和σ2 ，所以在实际问题的应用中，常常需要根据样本来确定岭参数 k 的值。一般地，有以下几种方法来选择岭参数 k 值。1 岭迹图法着多重共线性时，如果最小二乘法的估计有看似不合理的情况时，比如估计值与实际内容不符或者符号违背了实际意义等情况，那么人们希望通...
数学建模学习笔记（10）：岭回归和Lasso回归
最新发布
hanmo22357的博客
01-26 7163
方法功能：可以视为逐步回归法的升级版，主要用于在回归模型中存在多重共线性时筛选自变量。方法原理：在一般回归模型的损失函数的基础上加上了正则项（惩罚项），两种回归的区别在于正则项不同。岭回归的惩罚项是回归系数的平方和；Lasso回归的惩罚项是回归系数的绝对值的和。其他作用：都可以对模型进行一定程度的简化，避免模型过于复杂。传统回归模型的四个假定线性假定：假设因变量和自变量之间存在线性关系。严格外生性假定；无完全多重共线性假定；球型扰动项假定。
R语言学习笔记 06 岭回归、lasso回归
雁山月
05-07 6563
比较lm.ridge和glmnet函数。 画岭迹图《统计学习导论 基于R语言的应用》图6-4 6-6。 论文复刻《基于岭回归和LASSO回归...安徽省财政收入影响因素分析_朱海龙》。
回归，岭回归。LASSO回归
IT届的小学生
12-27 6093
矩阵表示多元线性回归 Y=BX+a Q(B)=(Y-BX)T(Y-BX)达到最小时的B值。 也即是残差平方和最小时。B（Bi）的值。可以证明B的最小二乘估计=（XTX）-1XTy 其中（XTX）-1为广义逆。 如果X存在线性相关的话，XTX没有逆： 1.出现多重共线性2.当n 岭回归（Ridge Regression）---------共线性问题 先对数据做标准化 B(K)=(X
岭回归与lasso回归算法
每一次跌倒，都是为了下一次站得更稳。
08-22 4693
模型压缩与正则化主要包含岭回归（Ridge regression）和Lasso两种方法，二者的主要原理是将系数往等于0的方向压缩。 一、岭回归 二、lasso
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mrrunsen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值