深度探讨岭回归---一种更好用的数学模型

引言

这篇文章的目的是让你更好地使用岭回归，而不仅仅是相关库提供的。“什么是岭回归？”。回答最简单的回答是“ 线性回归的变化”。最糟糕的方式是得从以下数学方程开始，乍一看并不是很多人能够理解的。
$${\hat{\beta }}^{\text{ridge}}=\underset{\beta \in \mathbb{R}}{\mathrm{argmin}}\Vert y-XB{\Vert }_2^2+\lambda \Vert B{\Vert }_2^2$$
坏消息是我们仍然要处理它，好消息是我们不会从这样的方程式开始。我想从**普通最小二乘法 （OLS）**开始。如果你碰巧几乎没有关于线性回归的背景知识，那么这段视频将帮助你了解使用“最小二乘法”的工作方式（要梯子和英文基础哦）。现在，你知道OLS就像我们通常所说的“线性回归”一样，我将使用这个术语。

继续前进

你想要记住两件事。一个是我们不喜欢过度拟合。换句话说，我们总是喜欢捕捉一般模式的模型。另一个是我们的目标是从新数据而不是特定数据预测它。因此，模型评估应基于新数据（测试集），而不是给定数据（训练集）。另外，我将交替使用以下术语。

• 独立变量= X.
• 系数= β
• 剩余的平方和= RSS

选择最小二乘法（OLS）

$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_p{x}_p+\epsilon$ -----实际模型

$\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_1{x}_1+{\hat{\beta }}_2{x}_2+\cdots +{\hat{\beta }}_p{x}_p$ ----估计模型

${\hat{\beta }}^{OLS}={\left(X^{T}X\right)}^{-1}{X}^{T}Y$ -----矩阵方程

最小二乘法找到最佳和无偏差系数

如此你可能知道最小二乘法找到最适合数据的系数。要添加的另一个情况是：它还可以找到无偏系数。这里无偏差估计意味着OLS不会考虑哪个独立变量比其他变量更重要。它只是找到给定数据集的系数。简而言之，只能找到一组β，从而产生最低的“剩余平方和（RSS）”。那么问题就变成“具有最低RSS的模型真的是最好的模型吗？”。

偏差与方差

上述问题的答案是“不是真的”。正如“无偏差”一词所示，我们也需要考虑“偏差”。偏差意味着模型对其预测因素的关注程度。假设有两种模型可以用两个预测器“甜味”和“光泽”来预测苹果价格; 一个模型是无偏差的，另一个是有偏差的。

首先，无偏模型试图找到两个特征和价格之间的关系，就像OLS方法一样。该模型将尽可能完美地符合观察结果，以最小化RSS。但是，这很容易导致过度拟合问题。换句话说，模型对新数据的表现不佳，因为它是针对给定数据构建的，因此具体说它可能不适合新数据。

有偏差的模型接受其变量不平等地对待每个预测值。回到这个例子，我们只想关心“甜度”来建立一个模型，这应该可以更好地利用新数据。在理解偏差与方差之后，将解释其原因。如果您不熟悉偏差与方差先去这里B站或者其他视频了解下。

可以说，偏差与不能适应训练集的模型有关，方差与不符合测试集的模型有关。偏差和方差与模型复杂性存在权衡关系，这意味着简单模型将具有高偏差和低方差，反之亦然。在我们的苹果示例中，仅考虑“甜度”的模型不像考虑“甜度”和“光泽”的其他模型那样适合训练数据，但更简单的模型将更好地预测新数据。
这是因为“甜度”是价格的决定因素，而“光泽”不应该是。我们都知道这是常识，但数学模型不像我们一样思考，只计算所给出的内容，直到找到所有预测变量和自变量之间的某种关系来拟合训练数据。

岭回归的几何理解

很多时候，图形有助于了解模型的工作方式，而岭回归也不例外。下图是比较OLS和岭回归的几何解释。

轮廓和OLS估计

每个轮廓是RSS相同的点的连接，以OLS估计为中心，其中RSS是最低的。此外，OLS估计是最适合训练集（低偏差）的点。

圆和岭估计

与OLS估计不同，岭估计随着蓝色圆的大小改变而改变。它就是圆圈与最外层轮廓相遇的地方。岭回归的工作原理是我们如何调整圆的大小。关键是β的变化处于不同的水平。
假设β1是’光泽’而β2是’甜度’。正如你所看到的，随着圆的增大，脊β 1比脊β 2相对较快下降到零（比较这两个数字）。之所以出现这种情况的原因是因为β的变化由不同RSS决定。直观地看，轮廓不是圆形而是倾斜的椭圆形。

β不可能是零，只能收敛到它，这将在下一个数学公式中解释。虽然像这样的几何表达式很好地解释了一个主要的想法，但也有一个限制，我们无法通过三维表达它。所以，这一切都归结为数学表达式

数学公式

我们已经看到了一般术语和矩阵版本的多元线性回归方程。它可以用另一个版本编写如下。
$\underset{\beta \in \mathbb{R}}{\mathrm{argmin}}\sum \left[y_i-{\hat{y}}_i\right]={\mathrm{argmin}}_{\beta \in \mathbb{R}}{\left[y_i-\left({\beta }_0+{\beta }_1{x}_1+\beta x_2+\cdots +\beta x_p\right)\right]}^2$

这里argmin的意思是“最小的参数”，使函数达到最小。在上下文中，它找到最小化RSS 的β。我们知道如何从矩阵公式中得到β。现在，问题变成“这与岭回归有什么关系？”。

${\beta }_0^2+{\beta }_1^2+\cdots +{\beta }_p^2\le C^2$

同样，岭回归是线性回归的变形。我们上式姑且称作OLS方程的岭回归约束。我们正在寻找β，但他们现在也必须满足上述约束。回到几何图形，C相当于圆的半径，因此，β应该落在圆形区域，可能在边缘的某个地方。

范数

我们仍然想要了解第一个等式。要做到这一点，我们需要了解向量规范，这只是以下定义。
$\Vert B{\Vert }_2=\sqrt{{\beta }_0^2+{\beta }_1^2+\cdots +{\beta }_p^2}$

这就是L2范数，您可以在此处了解有关范数的更多信息。我们此刻只关心L2范数，因此我们可以构建我们已经看到的等式。以下是最简单但仍然与我们讨论的内容相同。请注意，以下等式中的第一项基本上是OLS，然后使用λ的第二项是使岭回归的原因。
${\hat{\beta }}^{ridge}=\underset{\beta \in \mathbb{R}}{\mathrm{argmin}}\Vert y-XB{\Vert }_2^2+\lambda \Vert B{\Vert }_2^2$

我们真正想要找到的

带有λ的式子的术语通常被称为“惩罚”，因为它增加了RSS。我们将某些值迭代到λ上，并使用诸如“均方误差（MSE）”之类的测量值来评估模型。因此，应选择最小化MSE的λ值作为最终模型。该岭回归模型在预测中通常优于OLS模型。如下面的公式中所示，β与随着λ变化，且如果λ等于零（无罚分）与OLS β相等。

${\hat{\beta }}^{ridge}={\left(X^{T}X+\lambda I\right)}^{-1}{X}^{T}Y$

为什么它会收敛而不会变为零

我们之前看到的矩阵公式， λ以分母结束。这意味着如果我们增加λ值，脊β应该减小。但不论值值设置多大，脊β都不能为零。也就是说，岭回归给予特征不同的重要性权重，但不会丢弃不重要的特征。

$\left(\cdots +\frac{1}{\lambda }+\cdots \right)X^{T}Y$

使用数据集进行演示

来自sklearn的数据集’Boston House Price’ 用于演示。这个元数据有十几个功能。整个演示中需要以下python库。
完整的代码可以在我的github上找到
现在加载数据集，随后，应该标准化功能。由于岭回归通过惩罚来缩小系数，因此应该对特征进行缩放以使开始条件公平。这篇文章解释了有关此问题的更多详细信息
接下来，我们可以迭代范围从0到199的λ值。注意，λ等于零（λ = 0）的系数与OLS系数相同。
现在，我们可以从数据框中绘制图。仅选择五个属性以实现更好的可视化
在这里插入图片描述

直觉看房间”应该觉的最佳房价指标。这就是为什么红色线不会在迭代中收敛。相反，“高速公路通道”（蓝色）显着减少，这意味着当我们寻求更多的通用模型时，这个指标将失去其重要性（权值）。
从其余部分看到类似的情况， 指标会聚到零，即黑色虚线。如果我们不断增加λ（极度偏向），那么只有’Room’会显著保持

绿色虚线来自上图中的OLS，X轴通过增加λ值绘制。随着λ值的增加，MSE值在开始时减小，这意味着模型预测得到改善（误差较小）到某一点。简而言之，具有一些偏差的OLS模型在预测方面比纯OLS模型更好，我们将这种修改后的OLS模型称为岭回归模型。

结论

我们研究了从数学公式，矩阵格式到几何表达的不同角度的岭回归。通过这些，我们可以理解岭回归基本上是一个带有惩罚的线性回归。通过演示，我们确认没有找到最佳λ的等式。因此，我们需要迭代一系列值并使用MSE评估预测性能。通过这样做，我们发现岭回归模型比预测的普通线性回归模型表现更好。