[吃瓜教程]南瓜书第6章软间隔与支持向量回归

1.软间隔支持向量机的模型

之前讨论的支持向量机的一个重要的假设前提是它的数据集是线性可分的。然而在现实任务中，线性不可分的情形才是最常见的，因此需要允许支持向量机犯错。这就是接下来要说的软间隔的支持向量机。

2.软间隔支持向量机的策略

从数学角度来说，软间隔就是允许部分样本（但是要尽可能的少）不满足下式中的约束条件
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m\end{array}$$
考虑损失函数，因为我们知道损失函数是有一定的灵活性的，损失函数的值不可能总是0，这就体现了一定的软间隔的意味，因此我们应该定义以下一个损失函数：

• 当满足约束条件时，损失为0；
• 当不满足约束条件时，损失不为0；
• （可选）当不满足约束条件时，损失与其违反约束条件的程度成正比；
  只有满足以上要求，才能实现我们的设想：尽可能少的不满足约束条件的样本的同时，损失最小化。
  接下来我们就基于支持向量机得到了软间隔支持向量机的损害函数：
  $$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{l}_{0/1}(y_i(w^T{x}_i+b)-1)$$
  其中，$l_{0/1}$是0/1损失函数
  $$l_{0/1}(z)=\{\begin{array}{ll}1& z<0\\ 0& z\ge 0\end{array}$$
  C>0是一个常数，用来调节损失的权重，显然当C$\to +\infty$时，会迫使所有样本的损失为0（因为你要最小化上面的式子），进而退化为严格执行的约束条件，退化为硬间隔，因此，本式子可以看作支持向量机的一般化形式。
  进一步的，由于$l_{0/1}$非凸、非连续，数学性质不好，使得上式不易求解，因此常用一些数学性质较好的替代函数来替换这个函数。软间隔支持向量机通常采用的是hinge（合页）损失来替代：
  $$l_{hinge}(z)=\max (0,1-z)$$
  

进一步得到替换后软间隔支持向量机的损失函数：
$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m\max (0,1-y_i(w^T{x}_i+b)$$
可以看到合页函数还满足第三个条件。
在确定了软间隔支持向量机的损失函数后，我们还可以进一步转换，将其从损失函数的形式再写回优化问题的形式。
我们引入一个松弛变量${\xi }_i$,上述优化问题便和下述优化问题等价
$$\begin{array}{rl}& \underset{w,b,{\xi }_i}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\\ & s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ & {\xi }_i\ge 0,i=1,2,...,m\end{array}$$
我们会发现这个优化问题的这个松弛变量${\xi }_i$可以较为直观的体现软间隔。

3.支持向量回归

支持向量回归（SVR）用一个以$f(x)=w^{T}x+b$为中心，宽度为$2ϵ$的间隔带来拟合训练样本。落在带上的样本不计算损失，不在带上的计算损失，然后最小化损失使得间隔带从样本最密集的地方穿过，达到拟合训练样本的目的。

SVR的损失函数可以写为
$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{l}_{ϵ}(f(x_i)-y_i)$$
其中，
（1）$l_{ϵ}(z)$为“$ϵ$不敏感损失函数"(类比均方误差损失)
$$l_{ϵ}(z)=\{\begin{array}{ll}0& if|z|\le ϵ\\ |z|-ϵ& if|z|>ϵ\end{array}$$
（2）$\frac{1}{2}||w|{|}^2$为L2正则项，此处引入正则项除了起到正则化的作用外，也是为了和（软间隔）支持向量机的优化目标保持形式上的一致，这样就可以导出对偶问题引入核函数。
（3）C为调节损失权重的常数。

同样的，和软间隔支持向量机类似，我们将损失函数写为优化问题的形式：
引入松弛变量，令
$$l_{ϵ}(f(x_i)-y_i)={\xi }_i$$
显然，${\xi }_i\ge 0$,并且
当$|f(x_i)-y_i|\le ϵ$时，得到${\xi }_i=0$
当$|f(x_i)-y_i|>ϵ$时，得到${\xi }_i=|f(x_i)-y_i|-ϵ$
所以得到，
$$|f(x_i)-y_i|-ϵ\le {\xi }_i$$
即
$$-{\xi }_i-ϵ\le f(x_i)-y_i\le {\xi }_i+ϵ$$
进一步SVR可以改写为如下形式，
$$\begin{array}{rl}& \underset{w,b,{\xi }_i}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\\ & s.t.-{\xi }_i-ϵ\le f(x_i)-y_i\le {\xi }_i+ϵ\\ & {\xi }_i\ge 0,i=1,2,...,m\end{array}$$
如果考虑两边的不同的松弛程度：
$$\begin{array}{rl}& \underset{w,b,{\xi }_i}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m（{\xi }_i+{\hat{\xi }}_i）\\ & s.t.-{\hat{\xi }}_i-ϵ\le f(x_i)-y_i\le {\xi }_i+ϵ\\ & {\xi }_i\ge 0,{\hat{\xi }}_i\ge 0,i=1,2,...,m\end{array}$$