详解回归分析中相关变量选择的方法和构建思想——岭回归、LASSO 回归、主成分回归和偏最小二乘回归

最新推荐文章于 2024-07-08 01:06:33 发布
最新推荐文章于 2024-07-08 01:06:33 发布
阅读量2k 收藏 18
点赞数 2
分类专栏： 机器学习 数据分析 统计学 文章标签： 机器学习 数据分析 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xj4math/article/details/111732967
版权
统计学 同时被 3 个专栏收录
59 篇文章 83 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看
数据分析
48 篇文章 38 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看
机器学习
36 篇文章 69 订阅 ¥29.90 ¥99.00
订阅专栏 超级会员免费看
本文详细介绍了四种回归分析方法：岭回归、LASSO回归、主成分回归和偏最小二乘回归。岭回归通过加入L2范数惩罚项解决多重共线性问题，但可能导致模型无偏性降低。LASSO回归利用L1范数惩罚项实现变量选择，可将不重要系数缩减为0。主成分回归通过降维处理多变量，减少信息损失。偏最小二乘回归在有标签的回归问题中利用数据相关性进行降维。文章探讨了各方法的原理、参数推导、λ选择及其优缺点。
摘要由CSDN通过智能技术生成

在线性回归模型中，其参数估计公式为 β = ( X T X ) − 1 X T y , \beta=\left(X^{T} X\right)^{-1} X^{T} y, β=(XTX)−1X

了解本专栏 订阅专栏 解锁全文 超级会员免费看
sta@ma@brain
关注
专栏目录
订阅专栏
机器学习算法（8）之多元线性回归分析理论详解
不曾走远的博客
08-29 8万+
前言：当影响因变量的因素是多个时候，这种一个变量同时与多个变量的回归问题就是多元回归，分为：多元线性回归和多元非线性回归。线性回归(Linear regressions)和逻辑回归(Logistic regressions)是人们学习算法的第一个预测模型。因此它们很常见，还有许多分析人员认为它们是仅有的回归模型，部分分析师认为它们是所有回归模型中最重要的。 事实上有无数的回归模型都能被使用，每种形...
机器学习——数据的共线性问题（岭回归、LASSO回归、逐步回归、主成分回归）
huangguohui_123的博客
04-27 1万+
一、如何检验共线性 容忍度（Trlerance）：容忍度是每个自变量作为因变量对其他自变量进行回归建模时得到的残差比例，大小用1减得到的决定系数来表示。容忍度的值介于0和1之间，如果值越小，说明这个自变量与其他自变量间越可能存在共线性问题。 方差膨胀因子（Variance Inflation Factor，VIF）：VIF是容忍度的倒数，值越大则共线性问题越明显，通常以10作为判断边界。当VI...
最小二乘法与岭回归的介绍与对比
热门推荐
Dang_boy的博客
11-11 3万+
一 线性回归（最小二乘法） 假设我们有n个样本数据，每个数据有p个特征值，然后p个特征值是线性关系。 即对应的线性模型 写成矩阵的形式即是Y=XA 由于样本与模型不一定百分百符合，存在一些噪声，即误差，用B表示，B也是一个向量 即B=Y-XA Y为样本值，XA为模型的计算值，即期望值 误差的平方的计算公式 Xi为行向量，A为列向量。 最小二乘法的目标就是取得最小的e对应的A，...
回归里的变量选择
qq_57082933的博客
10-18 855
每天进步一点点——变量选择＆Fstart
变量不在选择列表中_回归分析中的变量选择
weixin_39627481的博客
12-06 470
也许我这个标题不大严谨，学渣念书就是小和尚念经，念了啥也不记得，只记得个名词了。我们在学统计学的时候好像到处都看到变量选择，为啥要做变量选择？在哪些情况下要做变量选择？做变量选择的效果好不好？姑且把这个标题这么写吧，似乎变量选择也不止出现在回归分析中。对于最小二乘估计，我们不满意的原因通常有两个：1，通常具有低偏差高方差，从而预测准确度不够好。我们有时候可以用shrinkage方法通过收缩一些变量...
相关分析与回归分析变量选择方法（笔记）
酱油家的老陈醋
03-30 9846
变量间的关系分析： 变量间的关系有两类：存在明确的关系-函数关系；不存在完全确定性。 相关变量关系有两种：平行关系——相互影响；依存关系——变量a收到变量b的影响。 变量间关系及分析方法： a.函数关系（确定性关系）——数学表达式（数学模型） b.相关关系（非确定性的关系）——b1.平行关系（相关分析）；b2依存关系（回归分析） b1.平行关系（相关分析）——b11.一元相关分析——线
偏最小二乘回归分析_回归分析|笔记整理（A）——岭回归，主成分回归（上）...
weixin_39675679的博客
12-03 898
大家好！如果你看过之前的《抽象代数》的笔记，你肯定就不会陌生了。这里的A就是10的意思。这一节我们会关注岭回归和主成分回归的内容（当然主成分回归只是引入一下）。它们是上一节多重共线性的自然延伸。有的人称岭回归为“近代统计的开端”，也算是对它的一个很高的赞誉了。另外要注意的是这一节的一些记号会进一步的简化，这是为了公式能够少占点地方……提供之前的笔记：回归分析|笔记整理（1）——引入，一元线性回归（...
线性回归与最小二乘法
ziweipolaris的博客
09-12 4943
最小二乘法 最小二乘法是我们经常用到的求解模型的回归方法，是一种优化方法，对于一个线性模型 Xθ=yXθ=yX\theta=y XXX为mmm行nnn列的矩阵，代表mmm个样本，每个样本有nnn个变量，即有mmm个等式，未知数nnn个，m>nm>nm>n，θθ\theta和yyy为一维向量，该方程没有解，但为了选择适合的αα\alpha使等式尽可能接
【基于R的线性回归分析】： 详解线性回归分析
R语言是一种专门用于数据分析和可视化的编程语言，广泛应用于统计学、机器学习等领域。结合线性回归概念，能够帮助数据分析人员更好地进行数据建模和预测分析。R语言的强大之处在于其丰富的数据
线性回归(Linear Regression) 原理与代码实例讲解
最新发布
程序员光剑
07-08 259
线性回归(Linear Regression) - 原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM
回归分析: 如何选择最佳的自变量与因变量
程序员光剑
01-08 3206
1.背景介绍 回归分析是一种常用的统计方法，用于研究因变量与自变量之间的关系。在实际应用中，选择合适的自变量和因变量至关重要。本文将详细介绍回归分析的核心概念、算法原理、具体操作步骤以及数学模型公式。同时，我们还将通过具体代码实例来进行详细解释，并探讨未来发展趋势与挑战。 2.核心概念与联系 回归分析是一种预测性分析方法，用于研究因变量与自变量之间的关系。回归分析的目标是找到一个或多个自变量...
数据挖掘——变量选择
shuke1991的博客
07-21 6911
大多数数据集需要我们对之进行“清洗”工作，包括数据转换、数据离散化、数据缺失替换和数据异常点处理 在实际的挖掘分析中，过多的变量对模型精度的提升十分有限，但是对于挖掘速度的影响确实十分巨大的，维数灾难就是描述这一情况的。 我们需要多少变量来进行分析挖掘？ 特征规约：特征规约即针对特定数据集进行变量数目的减少，在P较大时，特征规约显得有很强的必要性 特征规约方法： 主成
【机器学习】9、最小二乘法和岭回归
呆呆的猫的博客
07-29 1万+
线性回归模型的基本假设满足时，用最小二乘法得到的回归系数估计量是无偏的且具有最小方差，即使在高度多重相关的情况下，最小二乘法的回归系数估计量依然是线性无偏的，且具有最小的方差，也就是说多重共线性并不影响最小二乘估计量的无偏性和最小方差性。，由最小二乘法求得的解释抛物面的最低点，由岭回归得到的是黄色的点，一般来说，拟合的误差值（偏差）越小，A的各个元素（权值）的方差越高，所以岭回归是找到一个方差不会太大，误差也不会太大的权衡的点，随着r增大，方差变大。是λ的函数，岭迹图的横坐标为λ，纵坐标为A(λ)。
机器学习--岭回归与偏最小二乘
anualday的博客
12-16 3456
一、回归 回归就是数据进行曲线拟合，回归一般用来做预测，涵盖线性回归（经典最小二乘法）、局部加权线性回归、岭回归和逐步线性回归。 二、一般线性回归遇到的问题 在处理复杂的数据的回归问题时，普通的线性回归会遇到一些问题，主要表现在： 预测精度：这里要处理好这样一对为题，即样本的数量和特征的数量 时，最小二乘回归会有较小的方差 时，容易产生过拟合 时，最小二乘
模型选择——岭回归和Lasso回归
qq_48988106的博客
10-19 2903
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 模型选择方法有三种，分别是：子集选择法（subset selection), 收缩法（Shrinkage）和降维法（Dimension Reduction）。 之前已经介绍过子集选择法，这篇文章主要介绍模
数学建模 —— 岭回归和Lasso回归
qq_52928524的博客
08-27 1863
岭回归和Lasso回归
岭回归和lasso回归（转）
dianwei0041的博客
07-28 610
回归和分类是机器学习算法所要解决的两个主要问题。分类大家都知道，模型的输出值是离散值，对应着相应的类别，通常的简单分类问题模型输出值是二值的，也就是二分类问题。但是回归就稍微复杂一些，回归模型的输出值是连续的，也就是说，回归模型更像是一个函数，该函数通过不同的输入，得到不同的输出。 那么，什么是线性回归，什么是非线性回归呢？ 线性回归与非线性回归 前面说...
应用回归分析：主成分分析
Allen1862105的博客
02-21 2623
回归分析是研究变量之间关系的一种统计方法，主要用于预测和因果关系分析。在回归分析中，研究者试图确定一个或多个自变量（X）如何影响因变量（Y）。基于回归分析的类型（如线性回归、多项式回归、逻辑回归等），可以建立相应的数学模型来描述这些变量之间的关系。主成分分析是一种统计方法，通过正交变换将一组可能相关的变量转换为一组线性无关的变量，这组新的变量称为主成分。PCA的目的是减少数据的维度，同时保留数据集中最重要的变异信息。通过PCA，可以简化数据结构，减少后续分析的复杂度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sta@ma@brain

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值