ESL3.3 子集的选择学习笔记（最优集选择，向前向后逐步选择等方法）

3.3 子集的选择

这是一篇有关《统计学习基础》，原书名The Elements of Statistical Learning的学习笔记，该书学习难度较高，有很棒的学者将其翻译成中文并放在自己的个人网站上，翻译质量非常高，本博客中有关翻译的内容都是出自该学者的网页，个人解读部分才是自己经过查阅资料和其他学者的学习笔记，结合个人理解总结成的原创内容。
有关ESL更多的学习笔记的markdown文件，可在作者GitHub上查看下载。

原文	The Elements of Statistical Learning
翻译	szcf-weiya
时间	2018-08-21
解读	Hytn Chen
更新	2020-02-16

翻译原文

两个原因使得我们经常不满足最小二乘估计 (3.6)

• 第一个是预测的 精确性 (prediction accuracy)：最小二乘估计经常有小偏差大方差．预测精确性有时可以通过收缩或者令某些系数为 0 来提高．通过这些方法我们牺牲一点偏差来降低预测值的方差，因此可能提高整个预测的精确性．
• 第二个原因是 可解释性 (interpretation)：当有大量的预测变量时，我们经常去确定一个小的子集来保持最强的影响．为了得到“big picture”，我们愿意牺牲一些小的细节．

这节我们描述一些线性回归选择变量子集的方法．在后面的部分中我们讨论用于控制方差的收缩和混合的方法，以及其它降维的策略．这些都属于 模型选择 (model selection)．模型选择不局限于线性模型；第 7 章将详细介绍这个主题．

子集选择意味着我们只保留变量的一个子集，并除去模型中的剩余部分．最小二乘回归用来预测保留下的输入变量的系数．这里有一系列不同的选择子集的策略．

（Hytn注：这里就是指对特征进行筛选）

最优集的选择

对于每个 $k\in 0,1,2,\dots ,p$，最优子集回归要找出规模为 $k$ 的子集中残差平方和 (3.2) 最小的子集．一个有效的算法——leaps and bounds 过程 (Furnival and Wilson, 1974[^1]) 在 $p$ 为 30 或 40 是可行的．图 3.5 展示了前列腺癌例子中所有的子集模型．下边界代表通过最优子集方法选择的符合条件的模型．举个例子，注意到规模为 2 的最优子集不需要包含规模为 1 最优子集中的变量（这个例子中所有的子集是嵌套的）．最优子集曲线（图 3.5 中的红色下边界）必然地下降，所以不能用来选择子集的规模 $k$．怎样选择 $k$ 涉及偏差和方差之间的平衡，以及追求简洁的主观要求．有许多可能会使用的准则，一般地，我们选择最小的模型使得预测误差期望值的估计最小．

图 3.5：前列腺癌例子中所有可能的子集模型．在每个子集规模下显示了该规模下每个模型的残差平方和．

本章中我们讨论的许多方法都是相似的，因为它们使用训练数据去得到区别于复杂度和由单参数编码的模型序列．下一节我们采用交叉验证去估计预测误差并选择 $k$；AIC 准则是一个受欢迎的选择．我们将更多的细节讨论和其他方法推迟到第 7 章讨论．

向前和向后逐步选择

与其搜索所有可能的子集（当