支持向量回归(SVR)

支持向量回归（Support Vector Regression, SVR）是支持向量机（SVM）的一种扩展，用于回归分析，即用于预测连续数值型目标。它的原理与分类任务中的支持向量机类似，SVR 通过最大化回归模型的间隔，同时允许部分样本违反一定的误差范围，以提高模型的鲁棒性。

1. 支持向量回归的基本概念

与分类中的 SVM 相似，SVR 也试图在数据点中找到一个“最优超平面”，但在回归问题中，这个超平面是一个回归函数，它尽可能接近数据点，并在允许误差的范围内做出预测。

在 SVR 中，我们需要找到一个函数 $f(x)$，使得它能够预测样本的输出值，并且误差尽可能地小。同时，允许误差在一定的范围内，而不去惩罚这些误差。这种允许误差的范围由一个参数 $ϵ$ 控制，这就是 SVR 的 $ϵ$ -不敏感损失函数。

2. $ϵ$-不敏感损失函数

在 SVR 中，引入了一个 $ϵ$ 参数，用来表示误差的容忍范围。如果预测值与真实值之间的差异小于 $ϵ$，则认为没有损失。如果差异大于 $ϵ$，则产生损失。

损失函数：

对于每个样本 $(x_i,y_i)$，SVR 的损失函数定义为：

$$L_{ϵ}(y_i,f(x_i))=\max (0,|y_i-f(x_i)|-ϵ)$$

• 当预测值 $f(x_i)$ 与真实值 $y_i$ 之间的差异小于 $ϵ$ 时，损失为零，即不惩罚误差。
• 当差异大于 $ϵ$ 时，损失为 $|y_i-f(x_i)|-ϵ$。

这种损失函数叫做$ϵ$-不敏感损失（$ϵ$-insensitive loss），它允许一定范围内的误差，而不对模型产生惩罚。

3. 支持向量回归的优化目标

SVR 的目标是找到一个函数 $f(x)=w^{T}x+b$，使得大多数样本的预测误差不超过 $ϵ$，同时尽量使模型简单（即最大化回归函数的间隔）。因此，SVR 的优化目标可以写作：

优化问题：

$$\underset{w,b,{\xi }_i,{\xi }_i^{\ast }}{\min }\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n({\xi }_i+{\xi }_i^{\ast })$$

其中：

• $\frac{1}{2}\Vert w{\Vert }^2$：用于控制模型的复杂度，保持函数的平滑性。
• $C{\sum }_{i=1}^n({\xi }_i+{\xi }_i^{\ast })$：对违反 $ϵ$ 不敏感损失函数的样本施加惩罚，控制误差。
• ${\xi }_i$ 和 ${\xi }_i^{\ast }$：松弛变量，用于处理误差大于 $ϵ$ 的样本，分别表示预测值高于或低于真实值时的误差。

约束条件：

对于每个样本 $(x_i,y_i)$，约束条件是：
$$y_i-(w^T{x}_i+b)\le ϵ+{\xi }_i^{\ast }$$
$$(w^T{x}_i+b)-y_i\le ϵ+{\xi }_i$$
$${\xi }_i,{\xi }_i^{\ast }\ge 0$$

这些约束条件保证了大部分数据点的预测值 $f(x_i)=w^T{x}_i+b$ 距离真实值 $y_i$ 的误差不超过 $ϵ$，允许有一部分样本的误差通过松弛变量 ${\xi }_i$ 和 ${\xi }_i^{\ast }$ 来表示。

4. 对偶问题的推导

为了求解 SVR 的优化问题，通常会将其转化为对偶问题。SVR 的对偶问题与支持向量分类器的对偶问题类似：

拉格朗日函数

我们引入拉格朗日乘子 ${\alpha }_i,{\alpha }_i^{\ast },{\lambda }_i,{\lambda }_i^{\ast }$ 来处理约束条件，构造拉格朗日函数：

$$L(w,b,{\xi }_i,{\xi }_i^{\ast },{\alpha }_i,{\alpha }_i^{\ast },{\lambda }_i,{\lambda }_i^{\ast })=\frac{1}{2}\Vert w{\Vert }^2+C\sum _{i=1}^n({\xi }_i+{\xi }_i^{\ast })-\sum _{i=1}^n{\alpha }_i[ϵ+{\xi }_i-y_i+w^T{x}_i+b]-\sum _{i=1}^n{\alpha }_i^{\ast }[ϵ+{\xi }_i^{\ast }+y_i-w^T{x}_i-b]-\sum _{i=1}^n({\lambda }_i{\xi }_i+{\lambda }_i^{\ast }{\xi }_i^{\ast })$$

通过对 $w$、$b$、${\xi }_i$、${\xi }_i^{\ast }$ 求偏导并消去这些变量，可以得到 SVR 的对偶问题。

对偶优化问题：

$$\underset{{\alpha }_i,{\alpha }_i^{\ast }}{\max }-\frac{1}{2}\sum _{i,j=1}^n({\alpha }_i-{\alpha }_i^{\ast })({\alpha }_j-{\alpha }_j^{\ast })x_i^T{x}_j-ϵ\sum _{i=1}^n({\alpha }_i+{\alpha }_i^{\ast })+\sum _{i=1}^n{y}_i({\alpha }_i-{\alpha }_i^{\ast })$$

约束条件：

1. $0\le {\alpha }_i,{\alpha }_i^{\ast }\le C$
2. ${\sum }_{i=1}^n({\alpha }_i-{\alpha }_i^{\ast })=0$

5. 支持向量回归的最终决策函数

通过求解对偶问题中的拉格朗日乘子 ${\alpha }_i$ 和 ${\alpha }_i^{\ast }$，最终的决策函数可以表示为：

$$f(x)=\sum _{i=1}^n({\alpha }_i-{\alpha }_i^{\ast })x_i^{T}x+b$$

这表明预测值是基于训练数据中的一些关键样本（支持向量）计算的。

6. 总结

支持向量回归（SVR）是对 SVM 的扩展，用于回归问题。它通过引入 $ϵ$-不敏感损失函数，允许预测值与真实值在一定范围内存在误差，并通过优化模型复杂度和误差的折中，找到一个最优回归模型。SVR 的最终决策函数类似于 SVM，仍然依赖于支持向量。