Ridge Regression - 岭回归

Why 目的

predictors X之间存在严重的多重共线性（multicollinarity, 即自变量之间线性相关-correlation很高）时，会使得least-square（最小二乘法）计算公式$\hat{\beta} = (X^TX)^{-1}X^TY$中的$R = (X^TX)$ 不可逆（成为了singulation 奇异值 即|$X^TX$| = 0）从而最小二乘法失效。

What 本质是什么

给R内部加上一个惩罚项，使得R成为singulation的可能性大大降低。
本质还是bias – variance tradeoff，这次是牺牲unbias换取小variance。

How 具体是怎么解决的

先回顾一下。$||\vec{a}|| = \sqrt{(a_1 - 0)^2 + (a_2 - 0)^2 + ... + (a_n - 0)^2}$表$n$维向量$\vec{a}$在笛卡尔坐标系的长度。因此最小二乘法的最小化的目标函数表示为$||Y - X\beta||^2$，得出的解为$\hat{\beta} = (X^TX)^{-1}X^TY$。但当$X^TX$存在很严重的多重共线性时，$X^TX$会接近奇异，$||\hat{\beta}||$值会变得很大，即使$||\beta||$本身并不大的情况下。因此我们可以把目标函数变为$||Y - X\beta||^2 + k||\beta||^2, k > 0.$时，引入的正惩罚项$k||\beta||^2$使得得出的$\hat{\beta}$长度不会太大，从而解决了严重多重共线性引入的问题。 注意要求X之前都standardized 了（ X−X¯sd(X)