机器学习-回归算法中利用Ridge回归、LASSO回归、Elastic Net弹性网络解决过拟合问题

最新推荐文章于 2025-02-07 10:39:30 发布

Yangwenyi115615

最新推荐文章于 2025-02-07 10:39:30 发布

阅读量2.7k

点赞数 1

本文链接：https://blog.csdn.net/Yangwenyi115615/article/details/89765208

版权

本文探讨了过拟合问题及其成因，并介绍了Ridge回归、LASSO回归和Elastic Net弹性网络作为解决方案。Ridge回归使用L2正则化，LASSO回归使用L1正则化，而Elastic Net结合两者，以平衡模型稳定性和求解速度。文章通过实例展示了如何使用Ridge回归进行预测，并评估了模型性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Ridge回归、LASSO回归、Elastic Net弹性网络解决过拟合问题
1.如果仅是在测试集数据集上存在该问题–>过拟合
如果模型在训练集上的效果不错，但是在测试集上的效果非常差，在这种情况下，认为模型存在过拟合。
产生的原因：
a.样本少
b.模型的学习能力太强（模型比较复杂）
c.做了太多的特征的增维操作
解决方案：
a.增加样本的数量
b.换一个算法模型或者在训练过程中，加入正则化项系数，限制模型过拟合，正则化有两个：L1和L2
c.不要做太多的增维操作
为了防止过拟合，不能让theta的值过大或过小，可以在目标函数上增加一个平方和损失。
平方和损失称之为L2-norm
绝对值theta称之为L1-norm
Ridge回归：使用L2正则的线性回归模型称为Ridge回归（岭回归）
LASSO回归：使用L1正则的线性回归模型称为LASSO回归
Elastic Net(弹性网络):同时使用L1和L2正则的线性回归模型
区别：
Ridge模型具有较高的准确性、鲁棒性以及稳定性（如果数据中不存在冗余的特征属性）圆
LASSO模型因为能去掉数据中的噪音或者冗余（所以将LASSO算法运用到特征的