≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（四）

已于 2023-02-28 22:21:15 修改
阅读量749 收藏 4
点赞数
分类专栏： 统计学 文章标签： 学习
于 2017-10-15 20:55:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaopihaierletian/article/details/78243965
版权

照例继续本周笔记。这次我没啥废话了...

--------------笔记开始---------------

投影矩阵与消灭矩阵

首先是上次没证的若干OLS性质。基本都是公式。我就照抄原来econometrics做的笔记了。权当复习了...对计量有兴趣的、线性代数还不错的，建议去看《Microeconometrics- Methods and Applications》（?A. Colin Cameron / Pravin K. Trivedi ）。

先定义两个矩阵，这两个矩阵会在某种程度上save your life while learning econometrics...投影矩阵和消灭矩阵。

 

 

 

OLS估计值的方差

再次友情提醒，X不是随机变量，所以不要跟我纠结为什么没有条件期望公式之类的东西...

 

大样本下，就直接用正态检验好了。此外，如果我们进一步的有更多的同时检验的约束条件，那就是联合检验F。这个就不赘述了...

高斯-马尔可夫定理

顺便还证了一下高斯-马尔可夫定理...这个不像OLS，每次我可记不住他的证明，每次都是现翻书...

我就直接抄wiki了。

 

继续求方差：

 

变量选择与收缩方法

为了降低测试误差（减少函数的复杂度），有时候会放弃无偏性而进行变量选择。这里首先就是Ridge OLS（岭回归）。还是算一下这个东西好了。

 

 

xiaopihaierletian
关注
专栏目录
The Elements of Statistical Learning 答案
07-17
统计学习精要 答案
The Elements of Statistical Learning
04-23
《统计学习要素》是一本深度探讨统计学习理论与方法的权威著作，由 Trevor Hastie、Robert Tibshirani 和 Jerome Friedman 联合撰写。这本书是统计学、机器学习和数据挖掘领域的经典教材，旨在为读者提供全面而深入...
≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（一）
热门推荐
FE攻城狮
06-29 2万+
前两天微博上转出来的，复旦计算机学院的吴立德吴老师在开?统计学习精要(The Elements of Statistical Learning)?这门课，还在张江...大牛的课怎能错过，果断请假去蹭课...为了减轻心理压力，还拉了一帮同事一起去听，eBay浩浩荡荡的十几人杀过去好不壮观！总感觉我们的人有超过复旦本身学生的阵势，五六十人的教室坐的满满当当，壮观啊。 这本书正好前阵子一直在看，所以才...
≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（二）
FE攻城狮
06-29 5192
继续一周一次的课堂笔记 :D 昨天去晚了站着听讲，感觉好好啊，注意各种集中。想想整个教室里面就是我和老师是站着的，自豪感油然而生。 第二次课讲的东西依旧比较简单，是这本书第二章的前半部分。作为一个好久之前已经预习过的孩子，我表示万分的得意（最小二乘法难道不是三四年前就学过的？话说以后我再面人的时候，就让他推导最小二乘估计量，嘻嘻...考验一下基本功）。 ------------原谅我的
≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（三）
FE攻城狮
06-29 6801
照例文章第一段跑题，先附上个段子（转载的哦~）： I hate CS people. They don't know linear algebra but want to teach projective geometry. They don't know any probability but want to use graphical models. They don't under
《The Elements of Statistical Learning》教材答案
10-06
《The Elements of Statistical Learning》是一本由Trevor Hastie / Robert Tibshiran著作，Springer出版的Hardcover图书，本书只是提供了机器学习、数据挖掘、模式识别等领域的统计学观点，所以还是建议继续阅读...
The elements of statistical learning
最新发布
09-30
《统计学习》是统计学领域的一本重要著作，由Trevor Hastie、Robert Tibshirani和Jerome Friedman三位斯坦福大学统计学教授合著。这本书深入浅出地介绍了统计学习这一领域的核心概念和方法，特别强调了理解和应用而...
The Elements of Statistical Learning.pdf
08-16
根据提供的信息，《统计学习元素》（The Elements of Statistical Learning）是一本关于数据挖掘、推断与预测领域的权威著作。本书的作者包括 Trevor Hastie、Robert Tibshirani 和 Jerome Friedman，他们是统计学习...
The Elements of Statistical Learning的笔记
sdulibh的专栏
01-19 8084
第二章 最近在阅读这本elements of statistical learning，这本书的题目翻译成中文可以叫做统计学系基础。但是我认为这本书非常之不基础。需要读者具备比较扎实的数理统计和概率论的功底，对于统计推断，统计决策以及基本的机器学习的概念有所了解。我所阅读的是从学校图书馆借来的影印本，内容为本书第一版（2001）。据说第二版有700多页那么厚。这本书有中文翻译版，但是翻译作者可能
≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十）
slamer的专栏
11-28 570
一个东西写到10，总会多少有点成就感...只是不知道已经磨掉了多少人的耐心了呢？ 此外这节公式密集，大家看着办吧... -----------笔记开始------------ 继续上一讲，先说说EM算法。 MM、EM和GMM 1. MM（混合模型） (1) 定义：P(x)=∑Kk=1πkPk(x) ，其中πk≥0，∑Kk=1πk=1，构成一个离散分布。同时有Pk(x)≥0，且∫Pk(
≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十五）
slamer的专栏
11-28 358
梯度树提升算法(GTBA, gradient tree boosting algorithm) 继续boosting类算法哎。小小预告一下，下节课会直接跳到随机森林，老师貌似是想把各种分类器都一下子讲到，然后有点前后照应的比较～真有意思，若是以前扔给我这种问题我肯定run一个logit regression就不管了，现在倒是有各种线性的、广义线性的、非线性的模型可以试着玩了，爽哎～ -----
统计学习精要(The Elements of Statistical Learning)课堂笔记（二十三）：原型方法和最近邻KNN
slamer的专栏
11-29 607
笔记（二十二）需要等我找到上一本笔记本再说，暂时不知道扔到哪里去了...汗。届时补上。 这一章主要是讲的原型方法（prototype）和最近邻（KNN）。相对而言直觉更强，公式没那么复杂。 --------------------------笔记开始------------------- 1. 原型方法 1) 1-NN 最近邻居方法 最极端的情况：只找到最近的一位邻居。 数据集D={(
≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十四）
slamer的专栏
11-28 558
开春，复课。 一句无关的话...今天打开Google Reader看到7月份要关的提示，无限悲伤。看着落园若干RSS源里面累计800+的读者，只能说句bless...2008年开始使用，到现在，伴我度过了多少读书时光呀。不过确实也衰落了，高峰的时候一个RSS源就有600+读者，现在也只剩一半了。写博客，越来越像一件出力不讨好的事情了。 --------正文开始--------- 提升与梯度树
≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（六）
slamer的专栏
11-28 472
呃，我觉得我的笔记稍稍有点混乱了...这周讲的依旧是线性分类器，logit为主。anyway，大家将就着看吧。 logistic regression 首先我们考虑最一般的，有K种分类的场合。依旧，我们用G 来代替Y 作为观测到的分类结果，那么则有： G^=argmaxGP(G|X) 为最优的预测结果。这里我们希望找到一种线性的形式，还需要使用一些单调变换保证预测值在[0,1]之间。因
≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（五）
slamer的专栏
11-28 806
鉴于我上周写的[笔记（四）]让很多人反映太枯燥、太无聊（全是公式...可是这就是笔记嘛，又不是写科普文），我努力让这周的笔记除了公式之外多一点直觉和应用层面的点评。 其实[笔记（一）到（二）]中说了很多回归和分类器的不同了，那么在经历了线性回归方法之后，就来说说分类器好了。我原来一直觉得回归和分类器没有什么本质不同的...主要是最常用的分类器logit和probit都是我在学计量的时候学的，那个
≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十八）：神经网络
slamer的专栏
11-28 563
1. 前馈神经网（Multilayer Feedforward Network） 前馈神经网大致就是这个样子，一层一层的结构。这样，我们就由第一代的神经元系统繁殖出来了一个神经元群落...看起来很高深的样子。 先说一些参数和记号： L：网络的层次nl ，1≤l≤L：表示第l层中神经元的个数。特别的，n0=p为所有输入变量的个数（x的维数），nL 是网络输出的个数。wljk，1
统计学习精要(The Elements of Statistical Learning)课堂笔记（二十二）：核函数和核方法
slamer的专栏
11-28 594
补上笔记。这节课讲的就是大名鼎鼎的Kernel Method... 核函数（正定） 定义 K(x,y) , x,y∈R 满足： 1) 对称： K(x,y)=K(y,x) 2) 正定： n个观测x1,x2,...,xn∈Rp ，Kn=⎡⎣⎢⎢K(x1,x1)⋮K(xn,x1)⋯⋱⋯K(x1,xn)⋮K(xn,xn)⎤⎦⎥⎥ 正定（或者非负定）。 K(x,y) 举例：
统计学习基础：The Elements of Statistical Learning 2nd版解析
"The Elements of Statistical Learning 2nd 带书签" 《统计学习基础》是Trevor Hastie、Robert Tibshirani和Jerome Friedman三位作者共同编著的一本经典著作，属于SpringerSeriesinStatistics系列。这本书专注于...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值