统计学习导论（六）线性模型选择与正则化——习题

（a）
最佳子集选择具有最小的训练 RSS，因为其他两种方法确定模型的路径依赖于它们在迭代到第 k 个模型时首先选择的预测变量。
（b）
最佳子集选择可能具有最小的测试 RSS，因为它考虑了比其他方法更多的模型。 但是，其他模型可能会更幸运地选择更适合测试数据的模型。
（c）
i. True.
ii. True.
iii. False.
iv. False.
v. False.

（a）lasso
iii. 由于方差较小，偏差较大，因此灵活度较低且预测效果更好
（b）Ridge regression
iii. 由于方差较小，偏差较大，因此灵活度较低且预测效果更好
（c）非线性模型
ii.更灵活、更少偏差、更多差异

（a）
iv. 稳定减小：s从0开始增加，所有β从0增加至其最小二乘估计值。0时训练误差最大，稳定减小至普通最小二乘RSS。
（b）
ii. 最初减小，然后开始增加，图像呈现一个U形。s=0时，所有β=0，该模型极其简单，具有很高的测试RSS。随着s增加，β开始变为非零值，模型开始较好地拟合数据，因此测试RSS减少。
（c）
iii. 稳定增长。当s=0，模型有效地预测了一个常数并且几乎没有方差；随着s增加，模型中更多β开始增加，此时β高度依赖训练数据，从而增加了方差。
（d）
iv. 稳定减小：当s=0，该模型有效地预测了一个常数，因此预测值与实际值相差甚远，因此偏差很高。随着 s 的增加，更多的 β变为非零，因此模型继续更好地拟合训练数据。 因此，偏差减少了。
（e）
v. 保持不变。根据定义，不可约误差与模型无关，因此无论 s 的选择如何，都保持不变。

（a）
iii. 稳定增长。λ从0开始增加，所有β 从最小二乘估计值减少到 0。最小二乘估计的训练误差最小，随β减小到0稳定增长。
（b）
ii. 最初减小，然后开始增加，图像呈现一个U形。λ=0时，所有β都有其最小二乘估计值。在这种情况下，模型试图很难适应训练数据，因此测试 RSS 很高。增加 λ ，β开始减少到零，并且一些过度拟合也减少了。 因此，测试 RSS 最初下降。 最终，随着 β接近 0，模型变得过于简单，测试 RSS 增加。
（c）
iv. 稳定减小：当λ=0，所有β都有其最小二乘估计值。实际估计在很大程度上取决于训练数据，因此方差很大。随着 λ增加，β开始减少，模型变得更简单。 在 λ 接近无穷大的极限情况下，所有 β都减少到零，模型预测一个常数并且没有方差。
（d）
iii. 稳定增长。当λ=0，所有β有它们的最小二乘估计值，因此偏差最小。随着 λ 增加，β 开始向0减小，模型对训练数据的拟合不太准确，因此偏差增加。 在 λ 接近无穷大的极限情况下，模型预测一个常数，因此偏差最大。
（e）
v. 保持不变。根据定义，不可约误差与模型无关，因此无论 λ 的选择如何，都保持不变。

（a）
岭回归模型回归系数最优化的一般形式：
最小化：${\sum }_{i=1}^n{\left(y_i-{\hat{\beta }}_0-{\sum }_{j=1}^p{\hat{\beta }}_j{x}_j\right)}^2+\lambda {\sum }_{i=1}^p{\hat{\beta }}_i^2$
当${\hat{\beta }}_0=0$, $n=p=2$则：
${\left(y_1-{\hat{\beta }}_1{x}_{11}-{\hat{\beta }}_2{x}_{12}\right)}^2+{\left(y_2-{\hat{\beta }}_1{x}_{21}-{\hat{\beta }}_2{x}_{22}\right)}^2+\lambda \left({\hat{\beta }}_1^2+{\hat{\beta }}_2^2\right)$
（b）
假设$x_{11}=x_{12}=x_1$, $x_{21}=x_{22}=x_2$，对${\hat{\beta }}_1$和 ${\hat{\beta }}_2$取上述表达式的导数并将它们设置为0发现：
$${\hat{\beta }}^{\ast }{}_1=\frac{x_1{y}_1+x_{2V_2}-{\beta }^{\ast }2\left(x_1^2+x_2^2\right)}{\lambda +x_1^2+x_2^2}$$
$${\hat{\beta }}_2=\frac{x_1{y}_1+x_2{y}_2-{\hat{\beta }}^{\ast }1\left(x_1^2+x_2^2\right)}{\lambda +x_1^2+x_2^2}$$
这些表达式中的对称性表明${\hat{\beta }}_1$= ${\hat{\beta }}_2$。
（c）
与岭回归相似
最小化：${\left(y_1-{\hat{\beta }}_1{x}_{11}-{\hat{\beta }}_2{x}_{12}\right)}^2+{\left(y_2-{\hat{\beta }}_1{x}_{21}-{\hat{\beta }}_2{x}_{22}\right)}^2+\lambda \left(\left|{\hat{\beta }}_1\right|+\left|{\hat{\beta }}_2\right|\right)$
（d）
这是上述 c 中方程解的几何解释。
我们使用lasso约束的替代形式$\left|{\hat{\beta }}_1\right|+\left|{\hat{\beta }}_2\right|<s$
Lasso 约束采用以上形式，绘制时采用以原点 (0,0) 为中心的菱形形状。
考虑平方优化约束 ${\left(y_1-{\hat{\beta }}_1{x}_{11}-{\hat{\beta }}_2{x}_{12}\right)}^2+{\left(y_2-{\hat{\beta }}_1{x}_{21}-{\hat{\beta }}_2{x}_{22}\right)}^2$
利用$x_{11}=x_{12},x_{21}=x_{22},x_{11}+x_{21}=0,x_{12}+x_{22}=0$ 和$y_1+y_2=0$简化为：
最小化2${\left(y_1-\left({\hat{\beta }}_1+{\hat{\beta }}_2\right)x_{11}\right)}^2$
这个优化问题有一个简单的解决方案：${\hat{\beta }}_1+{\hat{\beta }}_2=\frac{y_1}{x_{11}}$。这是一条平行于 Lasso-diamond 边缘的线${\hat{\beta }}_1+{\hat{\beta }}_2=s$
现在原始lasso优化问题的解决方案是函数$(y_1-($