评价最小二乘法回归模型的优劣用什么方法?_脊回归(Ridge Regression)

对于有些矩阵，矩阵中某个元素的一个很小的变动，会引起最后计算结果误差很大，这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。岭回归(英文名：ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。通常岭回归方程的R平方值会稍低于普通回归分析，但回归系数的显著性往往明显高于普通回归，在存在共线性问题和病态数据偏多的研究中有较大的实用价值。

比方说一个自变量是身高

，一个自变量是体重

，假设因变量

是某种性激素的水平（或者别的什么跟身体发育相关的东西，随便举的例子）虽然我们拟合后能得到唯一解

，但由于

和

高度相关，所以

和

之间存在互相抵消的效应：你可以把

弄成一个很大的正数，同时把

弄成一个绝对值很大的负数，最终

可能不会改变多少。这会导致用不同人群拟合出来的

和

差别可能会很大，模型的可解释性就大大降低了。怎么办？最简单就是给一个限制，令

，这正好就是岭回归。

我先前没注意这一点，可是有一回分析工程数据时，热图显示，很多数据存在共线性。LASSO也能胜任此类问题。

标准最小二乘法优化问题:

也可以通过矩阵表示:

得到的回归系数为:

这个问题解存在且唯一的条件就是XX列满秩:

.

即使

列满秩，但是当数据特征中存在共线性，即相关性比较大的时候，会使得标准最小二乘求解不稳定,

的行列式接近零，计算

的时候误差会很大。这个时候我们需要在cost function上添加一个惩罚项

，称为L2正则化。

这个时候的cost function的形式就为:

通过加入此惩罚项进行优化后，限制了回归系数w的绝对值。