三、岭回归

根据线性回归标准方程法的公式：

当数据特征n>样本个数m的时候，xTx会出现有一些行或者列全是0的情况，这就不是满秩矩阵（没有哪一行或列全是0），所以不可逆。

I这个单位矩阵的行列与xTx是一样的，且单位矩阵I是满秩矩阵，λ一般是一个比较小的数，xTx + λI 的结果就是一个满秩矩阵。所以可逆。

岭回归的公式是通过L2正则化推演出来的，推演过程如下：

没有加上正则化的代价函数，称之为无偏估计，加上了正则化的代价函数称之为有偏估计，岭回归是一种有偏估计。

λ的取值，需要满足各回归系数的岭估计基本稳定的情况下，越小越好。