支持向量回归(Support Vector Regression)

支持向量回归(Support Vector Regression)

支持向量机除了能够分类，还可以用于回归。

回归的目的是得到一个能够尽量拟合训练集样本的模型$f(\mathbf{x})$，通常用的方法是构建一个样本标签与模型预测值的损失函数，使损失函数最小化从而确定模型$f(\mathbf{x})$。

例如，在线性回归模型中，损失函数(L2损失，L1损失，huber损失)由模型输出$f(\mathbf{x})$与真实输出$y$之间的差别来计算，通过最小化损失函数来确定模型$f(\mathbf{x})$，当且仅当$f(\mathbf{x})$与$y$完全相等时，损失才为0。

那支持向量机是如何用于回归的呢？

支持向量机的精髓在于间隔最大化。

• 在分类任务中，使靠超平面最近的样本点之间的间隔最大；

• 而在回归任务中，同样也是间隔最大，不同的是它使靠超平面最远的样本点之间的间隔最大。

如果使靠超平面最远的样本点之间的间隔最大，那么上图样本点的回归超平面结果就应该变成下左图那样。

显然，我们希望回归能达到右图的效果，于是SVR对间隔加了限制，对所有的样本点，回归模型$f(\mathbf{x})$与$y$的偏差必须$\le \epsilon$。我们把这个偏差范围称作$\epsilon$管道。

依据以上的思路，SVR的优化问题可以用数学式表示为
$$\begin{array}{rl}& \underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}_2^2\\ s.t.|y_i-({\mathbf{w}}^T& {\mathbf{x}}_i+b)|\le \epsilon ,i=1,2,\cdots ,N\end{array}$$
SVR的目的是：保证所有样本点在$\epsilon$管道内的前提下，回归超平面$f(\mathbf{x})$尽可能地平。

在$\epsilon$不变的前提下，回归超平面$f(\mathbf{x})$尽可能平和间隔尽可能大是等效的。

带松弛变量的SVR

实际应用中，$\epsilon$设置太小无法保证所有样本点都在$\epsilon$管道内，$\epsilon$太大回归超平面会被一些异常点带偏。

和软间隔SVM模型类似，SVR允许每个样本$({\mathbf{x}}_i,y_i)$添加松弛变量${\xi }_i\ge 0$，用来描述样本点偏离$\epsilon$管道的程度。

如何添加松弛变量？

如果直接在约束条件中加上松弛变量，变成$|y_i-({\mathbf{w}}^T{\mathbf{x}}_i+b)|\le \epsilon +{\xi }_i$，即
$$\{\begin{array}{rl}{y}_i-({\mathbf{w}}^T{\mathbf{x}}_i+b)& \le \epsilon +{\xi }_i上界约束\\ ({\mathbf{w}}^T{\mathbf{x}}_i+b)-y_i& \le \epsilon +{\xi }_i下界约束\end{array}$$

显然，超出间隔上界的样本点影响到了下界面的约束。

那么是否可以对超出不同界面的样本点分开添加松弛变量？

比如：样本点超出间隔上界，我们令
$$\{\begin{array}{rl}{y}_i-({\mathbf{w}}^T{\mathbf{x}}_i+b)& \le \epsilon +{\xi }_i上界约束\\ ({\mathbf{w}}^T{\mathbf{x}}_i+b)-y_i& \le \epsilon 下界约束\end{array}$$
超出间隔下界，令
$$\{\begin{array}{rl}{y}_i-({\mathbf{w}}^T{\mathbf{x}}_i+b)& \le \epsilon 上界约束\\ ({\mathbf{w}}^T{\mathbf{x}}_i+b)-y_i& \le \epsilon +{\xi }_i下界约束\end{array}$$
但是事先不知道样本点超出的是上界还是下界，因此也不可行，而且超出上界和超出下界的约束条件形式还不相同。

其实，上下界的松弛变量可以用不同符号来表示：${\xi }_i^{\bigwedge }\ge 0,{\xi }_i^{\bigvee }\ge 0$，约束条件变成
$$\{\begin{array}{rl}{y}_i-({\mathbf{w}}^T{\mathbf{x}}_i+b)& \le \epsilon +{\xi }_i^{\bigwedge }上界约束\\ ({\mathbf{w}}^T{\mathbf{x}}_i+b)-y_i& \le \epsilon +{\xi }_i^{\bigvee }下界约束\end{array}$$
当${\xi }_i^{\bigwedge }\ne 0,{\xi }_i^{\bigvee }=0$时，样本点超出上界；

当${\xi }_i^{\bigwedge }=0,{\xi }_i^{\bigvee }\ne 0$时，样本点超出下界；

当${\xi }_i^{\bigwedge }=0,{\xi }_i^{\bigvee }=0$时，样本点在$\epsilon$通道内。

${\xi }_i^{\bigwedge }\ne 0,{\xi }_i^{\bigvee }\ne 0$这种情况不可能出现，因为这表示样本点既超出上界又超出下界，明显不可能发生。

引入松弛变量，SVR的优化问题形式为
$$\begin{array}{rl}& \underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}_2^2+C\sum _{i=1}^N({\xi }_i^{\bigvee }+{\xi }_i^{\bigwedge })\\ s.t.-\epsilon -{\xi }_i^{\bigvee }& \le y_i-({\mathbf{w}}^T{\mathbf{x}}_i+b)\le \epsilon +{\xi }_i^{\bigwedge },i=1,2,\cdots ,N\\ & {\xi }_i^{\bigvee }\ge 0,{\xi }_i^{\bigwedge }\ge 0,i=1,2,\cdots ,N\end{array}$$

带松弛变量的SVR目标函数的优化

依然与SVM分类模型类似，先用拉格朗日乘子法，将目标函数变成：
$$\begin{array}{rl}& L(\mathbf{w},b,{\mathbf{\alpha }}^{\bigvee },{\mathbf{\alpha }}^{\bigwedge },{\mathbf{\xi }}^{\bigvee },{\mathbf{\xi }}^{\bigwedge },{\mathbf{\mu }}^{\bigvee },{\mathbf{\mu }}^{\bigwedge })\\ =& \frac{1}{2}||\mathbf{w}|{|}_2^2+C\sum _{i=1}^N({\xi }_i^{\bigvee }+{\xi }_i^{\bigwedge })+\sum _{i=1}^N{\alpha }_i^{\bigvee }[-\epsilon -{\xi }_i^{\bigvee }-y_i+({\mathbf{w}}^T{\mathbf{x}}_i+b)]\\ & +\sum _{i=1}^N{\alpha }_i^{\bigwedge }[y_i-({\mathbf{w}}^T{\mathbf{x}}_i+b)-\epsilon -{\xi }_i^{\bigwedge }]-\sum _{i=1}^N{\mu }_i^{\bigvee }{\xi }_i^{\bigvee }-\sum _{i=1}^N{\mu }_i^{\bigwedge }{\xi }_i^{\bigwedge }\end{array}$$

其中，${\alpha }_i^{\bigvee }\ge 0,{\alpha }_i^{\bigwedge }\ge 0,{\mu }_i^{\bigvee }\ge 0,{\mu }_i^{\bigwedge }\ge 0$都是拉格朗日系数。

那么优化问题变为
$$\begin{array}{rl}\underset{\mathbf{w},b,{\mathbf{\xi }}^{\bigvee },{\mathbf{\xi }}^{\bigwedge }}{\min }\underset{{\mathbf{\alpha }}^{\bigvee },{\mathbf{\alpha }}^{\bigwedge },{\mathbf{\mu }}^{\bigvee },{\mathbf{\mu }}^{\bigwedge }}{\max }L(& \mathbf{w},b,{\mathbf{\alpha }}^{\bigvee },{\mathbf{\alpha }}^{\bigwedge },{\mathbf{\xi }}^{\bigvee },{\mathbf{\xi }}^{\bigwedge },{\mathbf{\mu }}^{\bigvee },{\mathbf{\mu }}^{\bigwedge })\\ s.t.{\xi }_i^{\bigvee }\ge 0,& i=1,2,\cdots ,N\\ {\xi }_i^{\bigwedge }\ge 0,& i=1,2,\cdots ,N\\ {\alpha }_i^{\bigvee }\ge 0,& i=1,2,\cdots ,N\\ {\alpha }_i^{\bigwedge }\ge 0,& i=1,2,\cdots ,N\\ {\mu }_i^{\bigvee }\ge 0,& i=1,2,\cdots ,N\\ {\mu }_i^{\bigwedge }\ge 0,& i=1,2,\cdots ,N\end{array}$$
优化问题满足KKT条件，可以等价为对偶问题
$$\begin{array}{r}\underset{{\mathbf{\alpha }}^{\bigvee },{\mathbf{\alpha }}^{\bigwedge },{\mathbf{\mu }}^{\bigvee },{\mathbf{\mu }}^{\bigwedge }}{\max }\underset{\mathbf{w},b,{\mathbf{\xi }}^{\bigvee },{\mathbf{\xi }}^{\bigwedge }}{\min }L(\\ s.t.{\xi }_i^{\bigvee }\ge 0,\\ {\xi }_i^{\bigwedge }\ge 0,\\ {\alpha }_i^{\bigvee }\ge 0,\\ {\alpha }_i^{\bigwedge }\ge 0,\\ {\mu }_i^{\bigvee }\ge 0,\\ \end{array}$$