线性模型（三）－－ridge、lasso、ElasticNet回归

在使用机器学习方法进行预测时，往往会出现这种情况：训练出的模型在训练集上的效果很好，但是在测试集上的效果很差，这种情况称为过拟合；如果模型本身在训练集上的效果就很差，这种情况称之为欠拟合。为了防止过拟合的现象出现，学者对线性回归进行了优化，于是产生了ridge、lasso还有ElasticNet回归，下面我们分别介绍这三种回归。

首先让我们了解一下ridge回归。在线性回归（二）－线性回归公式推导中，我们定义了线性回归的损失函数为，经过推导最终得到。为了防止过拟合的出现，我们在原损失函数的基础上增加一个正则项，则有

     (1)

接下来求解，写成向量形式有

<