岭回归和Lasso回归

岭回归（RR）

岭回归不会抛弃任何一个系数，随着lamda的增大，系数逐渐减小趋于零至稳定
求解方法有最小二乘（直接求系数矩阵），梯度下降。

当自变量间存在 复共线性（ multimulti -collinearity）时，回归系数估计的方差就很大， 估计值就很不稳定。很好想象，就相当于两列相同的特征，你说系数一正一负可以相差很大。

引入岭系数，会使残差平方和RSS变大，但对估计向量，存在一个系数，使它的均方误差MSE小于最小二乘法的。

https://www.jianshu.com/p/1677d27e08a7

Lasso回归

附加项为L1范数，是不连续可导的，因此无法使用梯度下降法。
坐标轴下降法（coordinate descent）和最小角回归法（ Least Angle Regression， LARS）