Support Vector Machine 支持向量机

支持向量机是一种二类分类模型。学习方法是间隔最大化
首先我们来了解一下支持向量和间隔的概念。

支持向量和间隔

分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面,将不同类别的样本分开.但能将训练样本分开的划分超平面可能有很多，如图所示，我们应该努力去找到哪一个呢?
以一个二分类问题为例，给定训练样本集 D = ( x 1 , y 1 ) , ( x 2 , y 2 ) … ( x m , y m ) , y i ∈ { − 1 , + 1 } , D= {(x_1,y_1), (x_2, y_2)\dots(x_m,y_m)},yi∈\{-1,+1\}, D=(x1​,y1​),(x2​,y2​)…(xm​,ym​),yi∈{−1,+1},,图中有很多条直线可即将正类和负类划分开，但是我们要找的这条直线必须泛化能力强，也就是不仅要在训练集上表现的好，在测试集上也要准确度高，在图像上可以看到我们选择的这条直线（黑色）最好是离两边的样本都越远越好，这样实际测试情况中，靠近这条线的样本就会比其他直线少一些，即容错率高一些，误分类的样本就会少一些。
设一个二分类的线性模型：$y=wx+b$（假设只含有一个参数），则划分样本空间的线性方程为$$wx+b=0$$,
然后使用相应的分类决策函数$$f(x)=sign(wx+b)$$进行分类，称之为线性可分支持向量机。
若该方程能够正确的将训练样本分类则对于所有$y_i>1$的样本将满足$w{x}_i+b>1$
,对于$y_i<-1$的样本,则$w{x}_i+b<-1$,即：$$\{\begin{array}{ll}w{x}_i+b⩾+1,& y_i=+1\\ w{x}_i+b⩽-1,& y_i=-1\end{array}$$
样本$x_i$到这条直线的距离为：
$$r=\frac{\left|wx+b\right|}{\Vert w\Vert }$$

而当给出的数据时具有多属性时，就要将参数$w$换成向量$\mathbf{w},$由前面学习的线性模型的知识可以得到线性模型$$y={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b，$$，划分超平面的线性方程是：${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$.
此时我们要找到的是一个可以将样本划分的超平面,样本空间可以想象成一个多维空间，此时样本空间中的点$\mathbf{x}$到超平面的距离：$$r=\frac{\left|{\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\right|}{\Vert \mathbf{w}\Vert }$$
如图所示，我们将满足约束条件式${\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b=+1或{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b=-1$的点（即图中虚线表示的点）称为支持向量（$\mathbf{x}$具有多种属性，是一个多维向量）。两个不同类的支持向量到划分超平面的距离之和称之为间隔，即$$\gamma =\frac{1}{\Vert \mathbf{w}\Vert }+\frac{1}{\Vert \mathbf{w}\Vert }=\frac{2}{\Vert \mathbf{w}\Vert }$$

由前面的分析可以得到，我们要找的划分超平面要使得划分样本到该面的距离最大(最大间隔分类超平面)，即获得$max\frac{2}{||\mathbf{w}||}$,并求得此时的参数$\mathbf{w},b$。其中$||\mathbf{w}||=\sqrt{{\sum }_{i=1}^m(w_i^2)}$
要求$max\frac{2}{||\mathbf{w}||}$，即求$max||\mathbf{w}|{|}^{-1}$,等价于最小化$\frac{1}{2}||\mathbf{w}|{|}^2$，
所以我们就可以得到要求一个支持向量机的基本型，即：$$\begin{array}{l}{\min }_{\mathbf{w},b}\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ \\ \text{ 约束条件:}{y}_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m\end{array}(1)$$,约束条件表示分类能否正确, $b$通过约束条件影响着$\mathbf{w}$的取值。

• 若训练数据集线性可分，则可将训练数据集中的样本点完全正确分开的最大间隔超平面存在且唯一。
• 在决定分离超平面时，只有支持向量起作用，而其他实例点并不起作用，（而线性逻辑回归会考虑所有的样本点）如果移动支持向量将改变所求的解，但是在间隔边界以外移动实例点，解不会改变，由于支持向量在决定分离超平面中起着决定性作用，所以将这种分类模型称为支持向量机。
  

公式推导

上式（1）可以通过求其对偶问题来求上式的解。
使用拉格朗日乘子法就转变成对偶问题，（类似于求条件极值，关于拉格朗日乘子法和KKT条件可以参考拉格朗日乘子法和KKT条件这篇文章）

1. 对每条约束添加${\alpha }_i,i=1,2,3...m$,
2. 其拉格朗日函数可表示为$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)(2)$$
3. ($2$)式可写成$$\begin{array}{rl}L(\mathbf{w},b,\mathbf{\alpha })& =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)\right)\\ & =\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m\left({\alpha }_i-{\alpha }_i{y}_i{\mathbf{w}}^T{\mathbf{x}}_i-{\alpha }_i{y}_{i}b\right)\\ & =\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{w}}^T{\mathbf{x}}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b\end{array}$$
   $L$分别对$\mathbf{w},b$求偏导，并令偏导为零得$$\begin{array}{c}\frac{\partial L}{\partial \mathbf{w}}=\frac{1}{2}\times 2\times \mathbf{w}+0-{\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i-0=0⟹\mathbf{w}={\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i(3)\\ \\ \frac{\partial L}{\partial b}=0+0-0-{\sum }_{i=1}^m{\alpha }_i{y}_i=0⟹{\sum }_{i=1}^m{\alpha }_i{y}_i=0\end{array}(4)$$
   将（3）代入（2），考虑（4）约束条件即可得到（1）式的对偶问题：
   $$\begin{array}{rl}\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })& =\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{w}}^T{\mathbf{x}}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b\\ & =\frac{1}{2}{\mathbf{w}}^T\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i-{\mathbf{w}}^T\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i+\sum _{i=1}^m{\alpha }_i-b\sum _{i=1}^m{\alpha }_i{y}_i\\ & =-\frac{1}{2}{\mathbf{w}}^T\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i+\sum _{i=1}^m{\alpha }_i-b\sum _{i=1}^m{\alpha }_i{y}_i\end{array}$$
   因为：${\sum }_{i=1}^m{\alpha }_i{y}_i=0$，所以上式
   $$\begin{array}{rl}\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })& =-\frac{1}{2}{\mathbf{w}}^T\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}{\left(\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\right)}^T\left(\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\right)+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^T\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i+\sum _{i=1}^m{\alpha }_i\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\end{array}$$
   即：$$\begin{gathered} \underset{\alpha }{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\mathbf{\alpha })=\underset{\mathbf{\alpha }}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j \\ \begin{array}{c}\text{ s.t. }{\sum }_{i=1}^N{\alpha }_i{y}_i=0\\ {\alpha }_i⩾0,i=1,2,\cdots ,m\end{array} \end{gathered}$$
   上式除$\alpha$外均已知，因此可求得$\alpha$,然后在求得$\mathbf{w},b$,就可求得模型：
   $$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}\mathbf{x}+b\end{array}$$，注意结果需满足KKT条件：$$\{\begin{array}{l}{\alpha }_i⩾0\\ y_{i}f\left({\mathbf{x}}_i\right)-1⩾0\\ {\alpha }_i\left(y_{i}f\left({\mathbf{x}}_i\right)-1\right)=0\end{array}$$
   解得$\alpha$中满足$\alpha >0$的实例点${\mathbf{x}}_i$称为支持向量，支持向量可在间隔边界上，也可在间隔边界与分离超平面之间。最佳分离超平面由支持向量完全决定。

软间隔

通常情况下，会有一些样本不满足约束条件，
我们要怎样处理这些样本呢，在最大化间隔的同时，应该允许一些样本不满足约束条件$y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1$；同时使不满足约束条件的样本尽可能的少
即设置软间隔：$y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1-{\xi }_i$,同时我们要平衡最大化间隔和分类误差，${\xi }_i$大于等于0，称为松弛变量，即正则化损失函数：
$$\begin{gathered} \underset{w,b,{\xi }_i}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i\begin{array}{c}\text{ s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1-{\xi }_i\\ {\xi }_i⩾0,i=1,2,\dots ,m\end{array} \\ C是惩罚系数 \end{gathered}$$
${\xi }_i$可以用常见的几种损失函数来计算松弛变量，即处理不满足约束条件的值，
hinge损失：${\ell }_{\text{hinge}}(z)=\max (0,1-z)$
指数损失：${\ell }_{exp}(z)=\exp (-z)$
对率损失：${\ell }_{log}(z)=\log (1+\exp (-z))$

核函数

除了上述情况外，还有可能出现的在低维平面上无法进行线性分类的情况，例如在逻辑回归中讲到的异或问题，此时我们可以通过坐标变换等，将低维空间的样本映射到高维空间，在高维空间进行分类。

如上图所示，图中A,B为一类，C,D为一类，在二维平面上我们无法进行分类，此时我们可以将平面沿某一条直线对折如上右图，C，D就在3维空间上就是在同一平面内，就可以进行分类了。
这个翻折的过程就等价于$\varphi \left({\mathbf{x}}_i\right)$。
通过$\varphi \left({\mathbf{x}}_i\right)$这个函数我们可以将低维平面上的$\mathbf{x}$坐标（每个坐标位置表示一个属性）映射到高维平面上，(如果原始空间是有限维，即属性有限，那么一定存在一个高维特征空间使样本可分。)然后就可以使用线性支持向量机进行求解。
由前面的知识可得：$$\begin{array}{c}{\max }_{\alpha }{\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi {\left(x_i\right)}^{\mathrm{T}}\varphi \left(x_j\right)\\ \\ \text{ s.t. }{\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ {\alpha }_i⩾0,i=1,2,\dots ,m\end{array}$$
而通常求解一个高维空间中的${\mathbf{x}}_i,{\mathbf{x}}_j$的内积：$\varphi {\left(x_i\right)}^{\mathrm{T}}\varphi \left(x_j\right)$是比较麻烦的，现在我们有这样的一个函数使得：$$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)=⟨\varphi \left({\mathbf{x}}_i\right),\varphi \left({\mathbf{x}}_j\right)⟩=\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$$
即$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$表示${\mathbf{x}}_i,{\mathbf{x}}_j$在低维空间中通过代入KaTeX parse error: Expected '\right', got 'EOF' at end of input: …ldsymbol{x}_{i}可以等同于在高维中求解$\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi \left({\mathbf{x}}_j\right)$。
$\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)$称之为核函数。
即我们可以通过低维空间的运算，就可以得到${\mathbf{x}}_i,{\mathbf{x}}_j$变换到高维空间中的内积，就会减少很多运算。可以重写模型函数：$$\begin{array}{rl}\underset{\mathbf{\alpha }}{\max }& \sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\\ \text{ s.t. }& \sum _{i=1}^m{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,m\end{array}$$
求解可得
$$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)+b\end{array}$$