岭回归和lasso回归_机器学习算法之岭回归、Lasso回归和ElasticNet回归

点击上方“机器学习与统计学”，选择“置顶”公众号

重磅干货，第一时间送达

作者：biaodianfu https://www.biaodianfu.com/ridge-lasso-elasticnet.html

在处理较为复杂的数据的回归问题时，普通的线性回归算法通常会出现预测精度不够，如果模型中的特征之间有相关关系，就会增加模型的复杂程度。当数据集中的特征之间有较强的线性相关性时，即特征之间出现严重的多重共线性时，用普通最小二乘法估计模型参数，往往参数估计的方差太大，此时，求解出来的模型就很不稳定。在具体取值上与真值有较大的偏差，有时会出现与实际意义不符的正负号。

在线性回归中如果参数过大、特征过多就会很容易造成过拟合，如下如所示：

正则化

岭回归与Lasso回归的出现是为了解决线性回归出现的过拟合以及在通过正规方程方法求解的过程中出现的不可逆这两类问题的，这两种回归均通过在损失函数中引入正则化项来达到目的。

在日常机器学习任务中，如果数据集的特征比样本点还多， 的时候会出错。岭回归最先用来处理特征数多于样本数的情况，现在也用于在估计中加入偏差，从而得到更好的估计。这里通过引入限制了所有之和，通过引入该惩罚项，能够减少不重要的参数，这个技术在统计学上也叫作缩减(shrinkage)。和岭回归类似，另一个缩减LASSO 也加入了正则项对回归系数做了限定。

为了防止过拟合(过大)，在目标函数\theta后添加复杂度惩罚因子，即正则项来防止过拟合。正则项可以使用L1-norm(Lasso)、L2-norm(Ridge)，或结合L1-norm、L2-norm(Elastic Net)。

Lasso：使用L1-norm正则