岭回归(Ridge Regression)

岭回归出现的原因:

为了求得参数w，也可以不用迭代的方法（比如梯度下降法对同一批数据一直迭代,可以采用标准方程法一次性就算出了w = (X^TX)^-1X^Ty ,但是如果数据的特征比样本点还多,则计算(X^TX)^-1就会出错,因为(X^TX)不是满秩矩阵(有些行可能全是0),所以不可逆,为了解决这个问题,引入了岭回归的概念:


岭回归最早是为了处理特征多于数据的情况,现在也用于在估计中加入偏差,从未得到更好的估计,同时也可以解决多重共线性的问题,是一种有偏估计,没有正则项就是一个无偏估计