岭回归不仅仅是正则化作用

“当X不是列满秩，或者某些列之间的线性相关性比较大时，X’X的行列式接近于0，即X‘X接近于非奇异，计算(X‘X) ^-1 时误差会很大。此时传统的最小二乘法缺乏稳定性与可靠性。

 

岭回归是对最小二乘回归的一种补充，它损失了无偏性，来换取高的数值稳定性，从而得到较高的计算精度。

 

当X’X的行列式接近于0时，我们将其主对角元素都加上一个数k，可以使矩阵为非奇异的风险大降低。于是：

 

随着k的增大，B(k)中各元素b i (k)的绝对值均趋于不断变小，它们相对于正确值b i的偏差也越来越大。k趋于无穷大时，B(k)趋于0。b(k)随k的改变而变化的轨迹，就称为岭迹。实际计算中可选非常多的k值，做出一个 岭迹图 ，看看这个图在取哪个值的时候变稳定了，那就确定k值了。

 

X不满足列满秩，换句话就是说样本向量之间具有高度的相关性（如果每一列是一个向量的话）。遇到列向量相关的情形，岭回归是一种处理方法，也可以用主成分分析PCA来进行

作者：知乎用户
链接：https://www.zhihu.com/question/28221429/answer/40015088
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。