【理解机器学习算法】之岭回归Ridge - L2 Rgularization

Ridge 回归（Ridge Regression）也称作岭回归或脊回归，是一种专用于共线性数据分析的有偏估计回归方法。在多元线性回归中，如果数据集中的特征（自变量）高度相关，也就是说存在共线性(Multicollinearity)，那么模型参数估计将变得不稳定，输出结果的方差会非常大。Ridge 回归通过在损失函数中增加一个正则项来解决这个问题。

Ridge 回归的损失函数包括两部分：数据的预测误差和一个与系数大小相关的正则化项。该正则化项是系数的L2范数乘以一个称为 `alpha` 的参数。Ridge 回归的目标是最小化以下的损失函数：

这里：
- 表示预测误差，即实际观测值与模型预测值之间差的平方和。
- 是系数向量的L2范数的平方，也就是各系数平方和。
- 是正则化强度，控制着正则化项的大小。

正则化参数 `alpha` 决定了你想对模型系数的大小施加多大的惩罚。`alpha` 的值越大，对系数的惩罚越重，系数越倾向于变小，模型的复杂度就越低，这有助于防止模型过拟合。相反，如果 `alpha` 设得太小，正则化的效果就会弱，可能不能有效地处理共线性(Multicollinearity)问题。

Ridge 回归的系数 \( \beta \) 可以通过解析方法得到，计算公式为：

其中是单位矩阵。

在实践中，Ridge 回归特别适用于当你有很多相互关联的预测变量时，因为它会保留所有的预测变量，但是会减小变量的系数，使模型对数据中的随机误差不那么敏感。

由于正则化，Ridge 回归能够提高模型的泛化能力，但同时也会引入一定的偏差。因此，选择合适的 `alpha` 值是应用Ridge回归的关键。这通常通过交叉验证