统计学习基础——第六章 线性模型选择与正则化

最新推荐文章于 2022-12-15 21:51:57 发布
最新推荐文章于 2022-12-15 21:51:57 发布
阅读量1.5k 收藏 7
点赞数
分类专栏： 统计学习导论 文章标签： 统计模型 r语言 统计学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_61586198/article/details/121683354
版权
本文详细介绍了统计学习中的线性模型选择和正则化方法，包括子集选择、压缩估计（岭回归和lasso）、降维方法（主成分分析和偏最小二乘回归）以及在高维问题中的应用。通过对Cp、AIC、BIC等准则的讨论，探讨了如何在预测准确性和模型解释力之间找到平衡。
摘要由CSDN通过智能技术生成

目录

一、子集选择

1、原理

2、最优子集选择

（1）原理

（2）不足：计算效率不高。

（3）改进：分支定界法。

3、逐步选择

（1）作用

（2）向前逐步选择

（3）向后逐步选择

（4）混合方法

4、选择最优模型

（1）常用方法

（2）Cp、AIC、BIC、与调整R2

Cp值方法

AIC准则

BIC准则

调整R2

（3）验证与交叉验证

二、压缩估计方法

1、原理

2、岭回归

（1）表达式

（2）特点

（3）优点

（4）不足

3、lasso

（1）表达式

（2）特点

4、对比lasso和岭回归

（1）相同点

（2）不同点

（3）n=p时β的估计形式

 5、选择调节参数

（1）参数

（2）方法

三、降维方法

1、主成分分析（PCA）

（1）基本思想

（2）要求

（3）运用

（4）模型

（5）求解主成分

(6)主成分性质 

（7）主成分回归

2、偏最小二乘回归（PLS）

四、高维问题

1、在高维度下，最小二乘法无法实施

2、Cp、AIC、BIC方法不适合高维数据

标准线性回归模型：Y=\beta_0+\beta_1X_1+\cdots +\beta_p+X_p+\varepsilon

参数估计方法：最小二乘法。

不足：预测准确率不高，模型解释力不足。

  • 预测准确率：
  1. 若响应变量和预测变量真实关系近似线性，则最小二乘的偏差较低；若n远大于p，则最小二乘的方差也较低；
  2. 若不满足n远大于p，则使用最小二乘可能导致过拟合；
  3. 若p>n，则最小二乘得到的系数估计结果不唯一：此时方差无穷大，无法使用最小二乘法。
  • 模型解释力（解释效果）：将无关变量的系数设置为0，并移除这些无关变量（去不相关），但最小二乘法很难将系数置为0。

改进方法：子集选择、压缩估计、降维法。

一、子集选择

1、原理

从p个预测变量中挑选出与响应变量相关的变量形成子集，再对缩减的变量集合使用最小二乘法。

2、最优子集选择

（1）原理

对p个预测变量的所有可能组合分别使用最小二乘回归进行拟合。对含有一个预测变量的模型，拟合p个模型；对含有两个预测变量的模型，拟合（p/2）=p(p-1)/2个模型，依次类推。最后在所有可能模型中选取一个最优模型。

（2）不足：计算效率不高。

（3）改进：分支定界法。

①基本思想

  • 分支定界法常以广度优先或者以最小耗费（最大效益）优先的方式搜索问题的解空间树。
  • 每个活结点只有一次机会成为扩展结点，成为扩展结点后，会一次性产生所有儿子结点。其中，不可行解或非最优解的儿子结点被舍弃，其余儿子结点被加入活结点表中。
  • 继续从活结点表中取下一结点成为扩展结点，并重复上述结点扩展过程，直到找到所需的解或活结点表为空。

3、逐步选择

（1）作用

改进最优子集选择法存在的不足，即限制搜索空间，提高运算效率。

（2）向前逐步选择

①基本思想

以一个不包含任何预测变量的零模型为起点，依次往模型中添加变量，直到所有的预测变量都包含在模型中。

②算法

③优点：拟合模型个数减少，仅需从p-k个模型中选择最优模型，运算效率高。

④缺点：无法保证找到的模型是所有2^p个模型中最优的。

（3）向后逐步选择

①基本思想

以包含全部p个变量的全模型为起点，逐次迭代，每次移除一个对模型拟合结果最不利的变量。

②算法

③缺点：无法保证得到的模型是包含p个预测变量子集的最优模型。

（4）混合方法

4、选择最优模型

（1）常用方法

①根据过拟合导致的偏差对训练误差进行调整，间接的估计测试误差；

②提高验证集方法或者交叉验证法，直接估计测试误差。

（2）Cp、AIC、BIC、与调整R2

  • Cp值方法

①计算公式

C_p=\frac{1}{n}(RSS+2d\hat{​{\sigma}^2})

②特点

a.惩罚项2d\hat{​{\sigma}^2}用于调整训练误差倾向于低估测试误差这一现象；

b.Cp是测试均方误差的无偏估计；

c.Cp值越小模型越好。

  • AIC准则

①计算公式

AIC=\frac{1}{n\hat{​{\sigma}^2}}(RSS+2d\hat{​{\sigma}^2})=\frac{1}{\hat{​{\sigma}^2}}C_p

②特点

a.AIC值越小越好。

  • BIC准则

①计算公式

 BIC=\frac{1}{n}(RSS+log(n)d\hat{​{\sigma}^2})

②特点

a.将Cp中的惩罚项替换为log(n)d\hat{​{\sigma}^2}；

b.得到的模型规模更小；

c.将log(n)与2比较大小，可能log（n）大于2，即BIC调节范围大于AIC；

d.BIC值越小越好。

  • 调整R2

①计算公式

adjR^2=1-\frac{RSS/(n-d-1)}{TSS/(n-1)}

②特点

a.调整R2值越大，模型测试误差越小，模型越好；

b.拥有最大调整R2模型只包含了正确的变量，而没有冗余变量；

c.调整R2统计量对纳入不必要变量的模型引入了惩罚。

（3）验证与交叉验证

 给出了测试误差的一个直接估计，并且对真实潜在模型有较少的假设。适用范围更广，即使在很难确定模型自由度，或者难以估计误差方差的情况下仍可使用。

二、压缩估计方法

1、原理

基于全部p个预测变量进行模型的拟合。与最小二乘法相比，该方法可以将估计系数往0的方向进行压缩。通过系数缩减（正则化）减少方差。

最低0.47元/天 解锁文章
无所求275
关注
专栏目录
统计学习导论（六）线性模型选择与正则化——学习笔记
weixin_52547939的博客
09-22 1376
1. 子集选择 1.1 最优子集选择 对ppp个预测变量的所有可能组合分别使用最小二乘回归进行拟合：对含有一个预测变量的模型，拟合ppp个模型；对含有两个预测变量的模型，拟合p(p−1)/2p(p-1)/2p(p−1)/2个模型……，最后在所有可能模型中选取最优模型。 算法1 最优子集选择（p个变量，在2p2^p2p个模型中选择最优模型） 1. 记不含预测变量的零模型为M0M_{0}M0​，只用于估计各观测的样本均值 2. 对于k=1,2,……,pk=1,2,……,pk=1,
统计学习导论（六）线性模型选择与正则化——习题
weixin_52547939的博客
10-06 3334
（a） 最佳子集选择具有最小的训练 RSS，因为其他两种方法确定模型的路径依赖于它们在迭代到第 k 个模型时首先选择的预测变量。 （b） 最佳子集选择可能具有最小的测试 RSS，因为它考虑了比其他方法更多的模型。 但是，其他模型可能会更幸运地选择更适合测试数据的模型。 （c） i. True. ii. True. iii. False. iv. False. v. False. （a）lasso iii. 由于方差较小，偏差较大，因此灵活度较低且预测效果更好 （b）Ridge regressio...
统计学习（五）：线性模型选择与正则化
qq_52737544的博客
05-14 1697
本文主要介绍了子集选择、压缩估计、降维等方法
统计机器学习入门——线性模型选择与正则化1-CSDN公开课-专题视频课程
csdngkk的博客
09-02 140
统计机器学习入门——老司机带你读经典"系列课程使用经典的ISLR（An Introduction to Statistical Learning with Applications in R）为教材，结合具体案例，介绍统计学习的基本概念和常用算法...
统计机器学习入门——线性模型选择与正则化2-CSDN公开课-专题视频课程
csdngkk的博客
09-28 195
"统计机器学习入门——老司机带你读经典"系列课程使用经典的ISLR（An Introduction to Statistical Learning with Applications in R）为教材，结合具体案例，介绍统计学习的基本概念和常用算法。...
第五讲：正则化与模型选择（Regularization and model selection）
xyk_hust的博客
01-05 3284
设想一个机器学习的问题，我们要从一系列不同的模型中进行挑选。例如，我们可能是用一个多项式回归模型 (polynomial regression model) hθ(x)=g(θ0+θ1x+θ2x2+⋯+θkxk)h_\theta (x)=g(\theta_0+\theta_1x+\theta_2x^2+\cdots+\theta_kx^k)hθ​(x)=g(θ0​+θ1​x+θ2​x2+⋯+θk​...
机器学习——线性回归、逻辑回归、正则化
最新发布
qq_44425969的博客
12-15 495
有关线性回归，逻辑回归，岭回归和Lasso回归
深度学习基础之回归问题与正则化——慕课学习笔记
ArrogantT的博客
07-31 676
回归和分类的区别和联系： ●区别: 分类:使用训练集推断输入x所对应的离散类别(如: +1, -1)。 回归:使用训练集推断输入x所对应的输出值，为连续实数。 ●联系: 利用回归模型进行分类:可将回归模型的输出离散化以进行分类，即y = sign(f(x))。 利用分类模型进行回归:也可利用分类模型的特点，输出其连续化 的数值。 线性模型： ●狭义线性(linear)模型: 通常指自变量与因变量之间按比例、成直线的关系，在数学上可理解为-阶导数为常数的函数，如y= θ"x; 线性通常表现为一次曲线
python lasso做交叉验证_Lasso 模型选择：交叉验证 / AIC / BIC
weixin_39582656的博客
12-04 2951
Lasso模型选择:交叉验证 / AIC / BIC本示例利用Akaike信息判据(AIC)、Bayes信息判据(BIC)和交叉验证，来筛选Lasso回归的正则化项参数alpha的最优值。通过LassoLarsIC得到的结果，是基于AIC/BIC判据的。这种基于信息判据(AIC/BIC)的模型选择非常快，但它依赖于对自由度的正确估计。该方式的假设模型必需是正确, 而且是对大样本(渐近结果)进行推导...
python实习自变量选择（复决定系数、AIC、BIC、Cp统计量)
qq_56302296的博客
10-22 1914
from statsmodels.stats.outliers_influence import variance_inflation_factor from sklearn import model_selection import statsmodels.api as sm import math k = {'自变量子集':['x1','x2','x3','x1,x2','x1,x3','x2,x3','x1,x2,x3']} list = ['y~x1','y~x2','y~x3','y~x1...
七种常见的回归分析
明而决之
09-26 4万+
什么是回归分析？ 回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通 事 故数量之间的关系，最好的研究方法就是回归。 回归分析是建模和分析数据的重要工具。在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。我会在接下来的部分详细解释这一点。 我们为什么使用回归分析？ 如上所述，回归分析估计了两个或多个变量之间的...
回归模型选择(R语言版)
CauchyIsNotYou的博客
10-24 4278
回归模型选择(R语言版) 选择准测: With Cp , AIC and BIC, smaller values are better, but for adjusted R2 , larger values are better. Model choice should be guided by economic theory and practical considerations, as well as by model selection criteria. 案例 Illustrate mod
岭回归详解 从零开始 从理论到实践
热门推荐
UK - UofL HW - SDE
01-21 7万+
岭回归详解 从零开始 从理论到实践一、岭回归的理解1.1、LinearRegression的回顾1.2、岭回归 - Ridge Regression二、sklearn的使用2.1、方法、参数与属性2.2、简单案例2.3、超参数的设定方法 -RidgeCV2.4、多项式回归+岭回归案例 一、岭回归的理解 1.1、LinearRegression的回顾 在标准线性回归中，通过最小化真实值(yiy_iyi​)和预测值(y^i\hat y_iy^​i​)的平方误差来训练模型，这个平方误差值也被称为残差平方和(RSS
最佳回归模型选择指标——马洛斯CP值
neweastsun的专栏
05-14 4725
本文介绍最佳回归模型选择指标——马洛斯CP指标，并通过示例说明选择过程及如何计算。 马洛斯CP(Mallows’Cp) 指标用于在多个不同模型中选择最佳回归模型。其计算公式为： Cp = RSSp/S2–N+2(P+1){RSS_p/S^2 – N + 2(P+1)}RSSp​/S2–N+2(P+1) 参数说明： RSSp{RSS_p}RSSp​ : 有P个预测变量模型的残差平方和 S2{S^2}S2 : 模型的均方差(通过MSE计算) N ：样本大小 P ：预测变.
统计模型评价准则 AIC
天天向上的专栏
12-03 3607
统计模型评价时，经常见到一个准则 AIC， 全称是 Akaike information criterion，是以日本的统计学家 Akaike 命名的，它的计算公式为： AIC=2k−ln⁡(L^) AIC=2k-\ln(\hat{L}) AIC=2k−ln(L^) 其中，kkk 是模型中的待估参数数量， L^\hat{L}L^ 是该模型极大似然估计的最大值。 AIC 值越小，说明该统计模型损失的信息越少。 ...
模型评估方法【附python代码】（信息准则：赤池信息量准则AIC、贝叶斯信息准则BIC）
WHYbeHERE的博客
05-23 1万+
主要介绍AIC、BIC的原理，对比其他模型评估方法和信息准则的不同，通过简单的线性回归例子展示AIC、BIC的计算。
【统计学习系列】多元线性回归模型（六）——模型拟合质量评判：RMSE、R方、改进R方、AIC\BIC\SIC
Mikey_Sun的博客
06-04 1万+
文章目录1. 前文回顾2. 一些引理2.1 引理12.2 引理22.3 引理32. 拟合优度评价指标I——R方改进R方2.1 R方2.2 改进R方3. 拟合优度评价指标——AIC/BIC/SIC 1. 前文回顾 2. 一些引理 2.1 引理1 【引理1】 样本真值与模型拟合值的残差和为0，即： ∑i=1N(yi−yi^)=0 \sum_{i=1}^{N} ( y_i- \hat{y_i})= ...
机器学习基础：线性模型与正则化
"该文档详细介绍了机器学习中的关键概念，特别是线性模型和回归分析，包括线性回归、逻辑回归、正则化等技术。它还探讨了最小二乘法、参数学习方法以及高斯分布假设在模型构建中的作用。此外，文档提到了正则化的两...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值