机器学习 | Python线性回归+Ridge正则化

正则化是一种用来防止机器学习模型过度拟合（overfitting）的技术。

过拟合是指模型在训练数据上表现得非常好，但在未见过的数据上表现糟糕。

正则化算法的作用就是在训练模型的过程中，对模型进行一些限制，以防止它过分记住训练数据的细节，从而提高模型在未知数据上的泛化能力。

正则化算法的基本原理是在模型的损失函数中添加一个额外的项，这个额外项会对模型的参数进行惩罚，使其不能太大。

这样一来，模型在优化过程中不会过分依赖于某些特征或数据点，从而减少过拟合的风险。

L1 正则化（Lasso正则化）

L1正则化通过在损失函数中添加参数权重的绝对值之和来惩罚模型的复杂性。这可以通过以下公式来表示：

损失函数 = 原始损失 + λ * Σ|参数权重|

其中，λ是正则化强度，它控制了正则化的程度。增加λ的值将增加正则化的影响，从而降低模型的复杂性。
L2 正则化（Ridge正则化）

L2正则化通过在损失函数中添加参数权重的平方和来惩罚模型的复杂性。这可以通过以下公式来表示：

损失函数 = 原始损失 + λ * Σ(参数权重^2)

与L1正则化不同，L2正则化对参数权重的惩罚是平方级别的，这使得模型更倾向于分配相对较小的权重给所有特征。

为了更好地理解正则化，让我们使用一个简单的线性回归示例来演示它的作用。

我们使用Python和Scikit-Learn库来完成这个示例。

# 导入所需的库
import