【西瓜书笔记】5. 软间隔与支持向量机回归

5.1 软间隔SVM

之前我们使用的是严格线性可分的硬间隔SVM：
$$\begin{array}{ll}{\min }_{\mathbf{w},b}& \frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ \text{ s.t. }& 1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩽0,i=1,2,\dots ,m\end{array}$$
然而实际场景中，可能面对如下图所示的两种问题：

1. 严格线性可分的数据并不总是存在。
2. 有可能产生过拟合

那么就需要适当放松约束条件。软间隔SVM允许某些样本不满足函数间隔值大于等于1这个约束，也即允许函数间隔值小于1.当然，这样的样本尽量越少越好。因此优化问题可以改写为线性不可分时的软间隔SVM
$$\underset{w,b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\ell }_{0/1}\left(y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)-1\right)$$
其中
$$l_{0/1}(z)=\{\begin{array}{l}0,\text{ if }z\ge 0\\ 1,\text{ otherwise }\end{array}$$
但是将0-1函数代回到目标函数进行优化时，会产生麻烦，因为0-1函数它不是个凸函数，且不连续。

由于$l_{0/1}(z)$非凸、不连续，数学性质不太好（导数为0），不易优化求解，因此需要考虑用其他损失函数来近似替代$l_{0/1}(z)$，软间隔SVM选的替代损失函数是合页(hinge)损失函数
$${\ell }_{\text{hinge }}(z)=\max (0,1-z)$$
合页损失可以理解为：待考察变量$z$如果大于等于1就不惩罚，但是如果小于1就需要惩罚，但是惩罚的程度取决于自身比1小的程度，显然合页损失很适合用来考察软间隔 SVM里面的函数间隔值。

将优化问题中的${\ell }_{0/1}$损失函数更换为合页函数可得：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m\max \left(0,1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)$$
为了引入松弛因子，令
$$\max \left(0,1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)={\xi }_i$$
则上述优化问题可以改写为:
$$\begin{array}{c}\underset{\mathbf{w},b,{\xi }_i}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i\\ \text{ s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1-{\xi }_i\\ {\xi }_i⩾0,i=1,2,\dots ,m\end{array}$$
C是超参数权重。这里注意，如果$1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\le 0$，那么$1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\le {\xi }_i=0$。如果$1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)>0$， 那么$1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)={\xi }_i$ 。所以$y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1-{\xi }_i$.

这时，优化问题与原始SVM优化问题相比，只是多了一个变量$\xi$，所以优化步骤和方法与之前一样。

支持向量回归

SVR和SVM唯一的联系就是优化目标函数很相像，但是其建模思路差别很大。SVR实际就 是找一个以$f(x)$为中心，宽度为$2ϵ$的间隔带，使得此间隔带尽可能多地把所有样本都包裹住。

由外向内的思路：假设这条间隔带能包裹住所有样本，那么有两种方式可以做到，一种是$ϵ$取任意大，那么以任意$f(x)$为中心的间隔带都能把所有样本包裹住，但是显然这样是没有意义的。另一种就是找尽可能小的$ϵ$使得其能把所有样本包裹住，那么能把所有样本包裹住的间隔带的$ϵ$最小是多少呢?可以通过以下优化问题来求解
$$\begin{array}{cl}{\min }_{\mathbf{w},b,ϵ}& ϵ\\ \text{ s.t. }& -ϵ⩽y_i-f\left({\mathbf{x}}_i\right)⩽ϵ\end{array}$$
这里$f(x)={\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b$.

但是由于实际采样得到的样本会存在极个别偏离大多数样本很远的噪音，那么此时如果按照以上优化目标来进行求解的话也会导致$ϵ$偏大。如下图所示

因此，通常都会考虑人为固定$ϵ$的取值。 显然，一旦固定$ϵ$后上述优化问题就会无法求解，因此需要给固定后的$ϵ$两边添加未知因素松弛因子，同时也希望松弛因子不要太大
$$\begin{array}{cl}{\min }_{\mathbf{w},b,\xi ,\hat{\xi }}& ϵ+{\sum }_{i=1}^m\left({\xi }_i+{\hat{\xi }}_i\right)\\ \text{ s.t. }& -ϵ-{\xi }_i⩽y_i-f\left({\mathbf{x}}_i\right)⩽ϵ+{\hat{\xi }}_i\\ & {\xi }_i\ge 0\\ & {\hat{\xi }}_i\ge 0\end{array}$$
这里注意，

1. $f(\mathbf{x})$左右两边的松弛因子不一样
2. 而且这里$(\xi ，\hat{\xi })$是一对一对出现的，所以总共有2m个松弛因子

而且因为我们已经固定了$ϵ$,可以简化为
$$\begin{array}{cl}{\min }_{\mathbf{w},b,\xi ,\hat{\xi }}& {\sum }_{i=1}^m\left({\xi }_i+{\hat{\xi }}_i\right)\\ \text{ s.t. }& -ϵ-{\xi }_i⩽y_i-f\left({\mathbf{x}}_i\right)⩽ϵ+{\hat{\xi }}_i\\ & {\xi }_i\ge 0\\ & {\hat{\xi }}_i\ge 0\end{array}$$

为了和SVM的优化问题保持形式一致，从而方便继承SVM自带的一套东西，可以考虑加一 个L2正则项，也即
$$\begin{array}{cl}{\min }_{\mathbf{w},b,\xi ,\hat{\xi }}& \frac{1}{2}\Vert w{\Vert }^2+{\sum }_{i=1}^m\left({\xi }_i+{\hat{\xi }}_i\right)\\ \text{ s.t. }& -ϵ-{\xi }_i⩽y_i-f\left({\mathbf{x}}_i\right)⩽ϵ+{\hat{\xi }}_i\\ & {\xi }_i\ge 0\\ & {\hat{\xi }}_i\ge 0\end{array}$$
通常还会考虑给松弛因子添加一个正则化常数C(C越大，优化就更关注松弛因子项)，同时约束条件也可以进行恒等变形，进 而也就得到了常见的SVR优化问题
$$\begin{array}{cl}{\min }_{\mathbf{w},b,\xi ,\hat{\xi }}& \frac{1}{2}\Vert w{\Vert }^2+C{\sum }_{i=1}^m\left({\xi }_i+{\hat{\xi }}_i\right)\\ \text{ s.t. }& -ϵ-{\xi }_i⩽y_i-f\left({\mathbf{x}}_i\right)⩽ϵ+{\hat{\xi }}_i\\ & {\xi }_i\ge 0\\ & {\hat{\xi }}_i\ge 0\end{array}$$
这就是西瓜书上的式6.45。就可以进一步套用支持向量机的优化过程了。