机器学习-回归算法中利用Ridge回归、LASSO回归、Elastic Net弹性网络解决过拟合问题

Ridge回归、LASSO回归、Elastic Net弹性网络解决过拟合问题
1.如果仅是在测试集数据集上存在该问题–>过拟合
如果模型在训练集上的效果不错，但是在测试集上的效果非常差，在这种情况下，认为模型存在过拟合。
产生的原因：
a.样本少
b.模型的学习能力太强（模型比较复杂）
c.做了太多的特征的增维操作
解决方案：
a.增加样本的数量
b.换一个算法模型或者在训练过程中，加入正则化项系数，限制模型过拟合，正则化有两个：L1和L2
c.不要做太多的增维操作
为了防止过拟合，不能让theta的值过大或过小，可以在目标函数上增加一个平方和损失。
平方和损失称之为L2-norm
绝对值theta称之为L1-norm
Ridge回归：使用L2正则的线性回归模型称为Ridge回归（岭回归）
LASSO回归：使用L1正则的线性回归模型称为LASSO回归
Elastic Net(弹性网络):同时使用L1和L2正则的线性回归模型
区别：
Ridge模型具有较高的准确性、鲁棒性以及稳定性（如果数据中不存在冗余的特征属性）圆
LASSO模型因为能去掉数据中的噪音或者冗余（所以将LASSO算法运用到特征的