岭回归（ridge regression）

收缩方法

通过选择自变量的一个子集产生新的线性模型，这个模型是可解释的并且可能具有比完整模型更低的预测误差，然而，由于它是一个离散过程（变量或者保留，或者丢弃），使得子集选择方法常常表现出高方差，因此不能降低整个模型的预测误差。收缩方法更加连续，并且不会因为变量多而过多的降低性能

岭回归（Ridge Regression）

岭回归通过对系数向量的长度平方添加处罚来收缩系数。
算法极小化如下表达式：
$\hat \beta^{ridge}= argmin_{\beta}{\sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^px_{ij}\beta_j)^2+\lambda \sum_{j=1}^p\beta^2)}$
$\lambda$值越大，收缩量越大。
表达岭回归的一个等价方法是
$\hat \beta^{ridge}=argmin_{\beta} \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^px_{ij}\beta_j)^2$