lasso回归python代码_ElasticNet回归的python实现及与岭回归、lasso的效果比较

ElasticNet回归与岭回归、Lasso回归

ElasticNet回归也叫弹性网络回归，是岭回归和Lasso回归的组合，而说起Lasso回归和岭回归，就不得不说起回归的正则化。正则化是用于解决回归里的过拟合问题，即我们的算法过度拟合了数据，导致算法的泛化能力不足，在新的数据集中预测的效果很差。如下图的蓝色曲线所示，它拟合了训练数据的所有点，但是一旦换了新的训练数据，其效果就可能很差，这就是过拟合问题。

image.png

正则化就是解决过拟合问题的一种方法，它采用的是在原有模型中加入一个正则化项或惩罚项，比如数据的平方项或绝对值项，从而影响每次训练的损失函数，使得在训练数据上的偏差较大，在未知数据上的方差较小，从而避免过拟合问题。其效果如上图的红色曲线所示。

具体来说，岭回归就是在损失函数中加入了平方和的正则化方法(l2正则)，即：

image.pngLasso回归就是在损失函数中加入了绝对值和的正则化方法(l1正则)，即：

image.png而ElasticNet回归则是融合了两种正则方法，即：