预测分析：R语言实现2.7 正则化

2.7　正则化

变量选择是一个重要的过程，因为它试图通过去除与输出无关的变量，让模型解释更简单、训练更容易，并且没有虚假的关联。这是处理过拟合问题的一种可能的方法。总体而言，我们并不期望一个模型能完全拟合训练数据。实际上，过拟合问题通常意味着，如果过分拟合训练数据，对我们在未知数据上的预测模型精确度反而是有害的。在关于正则化（regularization）的这一节，我们要学习一种减少变量数以处理过拟合的替代方法。正则化实质上是在训练程序中引入刻意的偏误或约束条件，以此防止系数取值过大的一个过程。因为这是一个尝试缩小系数的过程，所以我们要观察的这种方法也称为收缩方法（shrinkage method）。

2.7.1　岭回归

当参数的数量非常大的时候，尤其是和能获得的观测数据的数量相比很大时，线性回归往往会表现出非常高的方差。这也就是说，在一些观测数据中的微小变化会导致系数的显著变化。岭回归（ridge regression）是一种通过其约束条件引入偏误但能有效地减小模型的方差的方法。岭回归试图把残差平方和（RSS）加上系数的平方和乘以一个用希腊字母表示的常数构成的项（∑2）的累加和最小化。对于一个带有k个参数的模型（不包括常数项0）以及带有n条观测数据的数据集，岭回归会使下列数量最小化：

 

在这里，我们还是想把RSS最小化，但第二个项是惩罚项，当任何系数很大时它也会很大。因此，在最小化的时候，我们就会有效地把系数压缩到更小的值。参数被称为元参数（meta paramete