SVM系列理论（十） SVR支持向量回归

前面提到，对于回归问题，
核岭回归，即最小二乘SVM（LSSVM），$\beta$的值大部分不为0，其支持向量非常多，也就是稠密的，而并不像soft-SVM中的$\alpha$一样，大部分$\alpha$`为0. 支持向量回归（SVR）模型可以解决这个问题。

1 敏感度损失函数

为了得到，岭回归得到的是稠密的$\beta$，本质上是其采用了最小二乘损失，为了得到稀疏的支持向量回归，首先引入tube回归中的敏感度损失（insensitive loss）。

上图有三个子图，第一个图是tube回归模型，第二个图是线性回归模型，第三个图两个模型的损失函数比较。

敏感度损失的思想是设置一个敏感度 $\epsilon > 0$：

• 当 $f(x)$ 于 $y$ 的差别绝对值 小于 敏感度 $\epsilon$ 时，我们不计损失，此时损失值 $err(y, f(x))$ 为 0.
• 当 $f(x)$ 于 $y$ 的差别绝对值 大于 敏感度 $\epsilon$ 时，将损失值计算为 “ $f(x)$ 于 $y$ 的差别绝对值 $-$ 敏感度 $\epsilon$ ”

这个思想在图上可以直观地看出来，图1中红色竖直线代表损失，蓝色阴影代表 $2 \epsilon$ 的间隔带，样本落入此带，应认为是正确预测，损失为0；落入带外的样本的损失为样本到隔离带边界的距离，这个距离为“ $f(x)$ 于 $y$ 的差别绝对值 $-$ 敏感度 $\epsilon$ ”

上面思想用公式表示出来，可以表示为：

• $|y - f(x)| \leq \epsilon , \ \ \ \ \ \ err(y, f(x)) = 0$
• $|y - f(x)| > \epsilon , \ \ \ \ \ \ err(y, f(x)) =|y - f(x)| - \epsilon$

这个分段函数可以写成:
$err(y, f(x)) = max(0,|y - f(x)| - \epsilon)$

2 支持向量回归模型的导出

我们知道，标准的软间隔SVM问题可以转化成L2正则+合页损失函数的无约束问题：
$min_{ \ w,b} \ \ \frac{1}{2}{||w||}^2 + C \sum_{i=1}^{N}max(0, 1 - y_i(w \cdot x_i + b)) \ \ \ \ \ \ \ \ (1)$

其中，松弛变量 margin violation
$\xi_i = max(0, 1 - y_i(w \cdot x_i + b))$

现在把合页损失函数换成敏感度损失函数，可以得到支持向量回归的无约束条件形式:

$min_{ \ w,b} \ \ \frac{1}{2}{||w||}^2 + C \sum_{i=1}^{N}max(0, | w \cdot x_i + b-y_i| - \epsilon ) \ \ \ \ \ \ \ \ (2)$

---

引入松弛变量 $\xi_i =max(0, | w \cdot x_i + b-y_i| - \epsilon )$ , $\xi_i \geq 0$ 转化成有约束问题

$min_{ \ w,b, \ \xi} \ \ \frac{1}{2}{||w||}^2 + C \sum_{i=1}^{N}\xi_i \ \ \ \ \ \ \ \ $

$s.t. \ \ \ \ \ \ \ \ | w \cdot x_i + b-y_i| - \epsilon \leq \xi_i , \xi_i \geq 0$

记：
1. 目标函数和软间隔svm形式相同
2. 约束条件是损失值（红色线）必须小于等于松弛变量 $\xi_i$,其中损失值等于$f(x)$ 于 $y$ 的差别绝对值 减去 敏感度 $\epsilon$ ，公式表示为$| f( x_i) -y_i| - \epsilon \leq \xi_i , \xi_i \geq 0$

---

可以看到约束条件并不是凸函数，进一步转化为：

$min_{ \ w,b, \ \xi} \ \ \frac{1}{2}{||w||}^2 + C \sum_{i=1}^{N}(\xi_i^{\vee }+\xi_i^{\wedge })\ \ \ \ \ \ \ \ $

$s.t. \ \ \ \ \ \ \ \ - \epsilon -\xi_i ^{\vee } \leq w \cdot x_i + b-y_i \leq \xi_i^{\wedge } + \epsilon$

$\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \xi_i^{\vee } \geq 0, \xi_i^{\wedge } \geq 0$

其中，$\xi_i^{\wedge }$表示下图中在敏感度隔离带上方的损失，$\xi_i^{\vee }$表示下图中在敏感度隔离带下方的损失。

我们最终得到的SVR模型为：

$min_{ \ w,b, \ \xi^{\vee },\ \xi^{\wedge }} \ \ \frac{1}{2}{||w||}^2 + C \sum_{i=1}^{N}(\xi_i^{\vee }+\xi_i^{\wedge })\ \ \ \ \ \ \ \ $

$s.t. \ \ \ \ \ \ \ \ y_i - f(x_i)\leq \xi_i^{\wedge } + \epsilon$

$\ \ \ \ \ \ \ \ \ \ \ \ \ f(x_i)-y_i \leq \epsilon +\xi_i ^{\vee }$

$\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \xi_i^{\vee } \geq 0, \xi_i^{\wedge } \geq 0, i = 1,2…,N$

---

3 对偶形式的导出

写出拉格朗日函数L.

然后分别对${ \ w,b, \ \xi^{\vee },\ \xi^{\wedge }}$ 求偏导数并令其为0，可得：

1. $w$ 仍然是输入$x$的线性组合，系数是拉格朗日乘子$(\ \alpha^{\wedge }-\alpha^{\vee })$

   $w = \sum_{i=0}^{N}(\ \alpha_i^{\wedge }-\alpha_i^{\vee }) \cdot x_i = \sum_{i=0}^{N}\beta_i \cdot x_i$

2. 对b求偏导会得到一个约束条件，这可以看成 是$y_i$ 等于1，得：

   $0 = \sum_{i=0}^{N}(\ \alpha^{\wedge }-\alpha^{\vee })$

3. C 等于两类拉格朗日乘子的和：

   $C =( \alpha_i^{\wedge }+ \mu_i^{\wedge })$
   $C =( \alpha_i^{\vee}+ \mu_i^{\vee })$

重新代入拉格朗日函数，得到对偶问题：

---

4 KKT条件导出支持向量

上诉过程要满足KKT条件，现在可以根据KKT条件中的互补松弛条件推导出b及支持向量的等价关系，进而得到整个模型的形式。

互补松弛条件如下：

对于在2$\epsilon$的隔离带内的点，必然有$|y - f(x)| - \epsilon \leq 0$且$\xi = 0$.那么可以得到：

由互补松弛条件，得到$(\ \alpha_i^{\wedge }-\alpha_i^{\vee }) = 0$

因此，支持向量是$(\ \alpha_i^{\wedge }-\alpha_i^{\vee }) \neq 0$ 的样本点,由此我们获得稀疏的$\beta_i = (\ \alpha_i^{\wedge }-\alpha_i^{\vee })$。

---

5 KKT条件导出b的值

在求解完对偶问题后，只需要选取一个满足 $0<\alpha_i ^{\vee }< C$的样本，并通过下式求解b。

$b^* = y_j+\epsilon - \sum_{i=1}^{N} \beta^*_iy_iK(x_i \cdot x_j)$

证明过程利用了两个互补松弛条件。可参看软间隔SVM。

---

参考书籍：林轩田机器学习技法 周志华机器学习