ESL3.6 几种线性回归方法比较学习笔记(含协方差&相关系数概念)

这篇博客对比了统计学习中岭回归、lasso、最优子集、PLS和PCR等方法,讨论了相关系数ρ对这些方法的影响。在相关系数为±0.5的情况下,不同方法的系数曲线有所区别,岭回归表现出平滑收缩,PLS和PCR行为类似,而lasso则介于两者之间。研究指出,岭回归通常在预测误差最小化方面优于其他方法,但优势有限。文章还介绍了皮尔逊相关系数及其在衡量变量间线性关系中的作用。
摘要由CSDN通过智能技术生成

3.6 讨论:选择和收缩方法的比较

这是一篇有关《统计学习基础》,原书名The Elements of Statistical Learning的学习笔记,该书学习难度较高,有很棒的学者将其翻译成中文并放在自己的个人网站上,翻译质量非常高,本博客中有关翻译的内容都是出自该学者的网页,个人解读部分才是自己经过查阅资料和其他学者的学习笔记,结合个人理解总结成的原创内容。
有关ESL更多的学习笔记的markdown文件,可在作者GitHub上查看下载。

原文 The Elements of Statistical Learning
翻译 szcf-weiya
时间 2018-08-21
解读 Hytn Chen
更新 2020-02-21

翻译原文

一些简单的设定会帮助我们更好地理解上面描述的不同方法之间的关系.考虑相关系数为 ρ \rho ρ 的两个相关输入变量 X 1 , X 2 \mathbf X_1,\mathbf X_2 X1,X2.我们假设实际的回归系数为 β 1 = 4 , β 2 = 2 \beta_1=4,\beta_2=2 β1=4,β2=2

在这里插入图片描述

图 3.18:关于一个简单问题不同方法的系数曲线,这个问题有两个相关性为

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值