线性可分支持向量机

定义

支持向量机分类用超平面对数据进行分割，选择使两类数据集的间隔达到最大的超平面，所学习到的超平面称为支持向量机。根据不同类型的数据，相应有不同的支持向量机模型。

• 超平面
  $$\omega \cdot x-x_0=\omega \cdot x+b=0$$
  $\omega$—法向量，$x_0$—平面上任意一个点

数据	模型
线性可分	线性可分支持向量机
近似线性可分	线性支持向量机
线性不可分	非线性支持向量机

线性可分支持向量机

考虑二分类问题，数据集为$(x_i,y_i)$,$i=1,...,N$,$y_i=\pm 1$，并且该数据集可由超平面完全将两类样本分开。如图：

函数间隔

定义$y(\omega \cdot x+b)$为样本$(x,y)$到超平面$(\omega ,b)$的函数间隔

• $\omega \cdot x+b$与$y$的符号是否一致能够表示分类是否正确
• $|\omega \cdot x+b|$能相对表示点$x$到超平面的距离，实际上$x$到超平面的距离为$|\omega \cdot x+b|/||\omega ||$,故样本$(x,y)$到超平面的函数距离为样本到超平面的距离与法向量的范数的乘积。

几何间隔

当$||\omega ||=1$时，$y(\omega \cdot x+b)$称为几何间隔

• 几何间隔实际上是样本点到超平面的带符号的距离

求最大间隔分离超平面

支持向量机希望做到不仅把样本正确分类，还希望样本离分离超平面之间的几何距离尽量大，这样利于提高预测的样本的分类效果。如图所示，当平面（紫色）居中时几何间隔达到最大。

这样的分离超平面可以通过求解一个最优化问题来求得：

$1.$
$ma{x}_{（w,b）}\gamma$
$s.t.y_i(\frac{\omega }{||\omega ||}+\frac{b}{||\omega ||})\ge \gamma$
$i=1,\dots ,N$

• 约束条件希望每个样本和超平面的距离至少是$\gamma$，目标函数希望$\gamma$越大越好,令$\hat{\gamma }=\gamma ||\omega ||$，则得到如下优化问题：

$2.$
$ma{x}_{（w,b）}\frac{\hat{\gamma }}{||\omega ||}$
$s.t.y_i(\omega +b)\ge \hat{\gamma }$
$i=1,\dots ,N$

• 上述问题$\hat{\gamma }$取任何大于零的常数，解都是一样的，通常取值1，得到如下最优化问题

$3.$
$ma{x}_{（w,b）}\frac{1}{||\omega ||}$
$s.t.y_i(\omega +b)\ge 1$
$i=1,\dots ,N$

• 若存在$({\omega }^{\ast },b^{\ast })$使$\frac{1}{||\omega ||}$达到最大，则对所有平面$（\omega ,b)$均加系数$\hat{\gamma }$，则在所有平面$(\hat{\gamma }\omega ,\hat{\gamma }b)$中$(\hat{\gamma }{\omega }^{\ast },\hat{\gamma }{b}^{\ast })$使$\frac{\hat{\gamma }}{||\omega ||}$达到最大。
• $(\omega ,b)$和$(\hat{\gamma }\omega ,\hat{\gamma }b)$表示同一个超平面。于是得到以下最优化问题。
• $y_i(\omega +b)\ge 1$意思是样本和超平面之间有一定的正距离。
• 几何间隔为$\frac{1}{||{\omega }^{\ast }||}$

$4.$
$mi{n}_{（w,b）}\frac{1}{2}||\omega |{|}^2$
$s.t.y_i(\omega +b)\ge 1$
$i=1,\dots ,N$

• 这是一个凸二次规划问题，并且解存在唯一，李航的统计学习方法中有证明。

如何求解分离超平面

思路：
写出原问题的对偶问题$\gg$求解对偶问题的解$\gg$由对偶问题的解写出原问题的解

如何写出对偶问题

问题$4.$$⟺$广义拉格朗日函数极小较大问题。即：
$$mi{n}_{\omega ,b}ma{x}_{\alpha :\alpha \ge 0}L(\omega ,b,\alpha )$$
$$L(\omega ,b,\alpha )=\frac{1}{2}||\omega |{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(\omega \cdot x+b-1)$$

$ma{x}_{\alpha :\alpha \ge 0}L(\omega ,b,\alpha )=\{\begin{array}{ll}\frac{1}{2}{||\omega ||}^2& \omega ,b\text{满足约束条件}\\ +\infty & \text{其他}\end{array}$

$\gg$
$mi{n}_{\omega }ma{x}_{\alpha :\alpha \ge 0}L(\omega ,b,\alpha )=\{\begin{array}{ll}mi{n}_{\omega }\frac{1}{2}{||\omega ||}^2& \omega ,b\text{满足约束条件}\\ +\infty & \omega ,b\text{不满足约束条件}\end{array}$
故对偶问题为
$$ma{x}_{\omega ,b}mi{n}_{\alpha :\alpha \ge 0}L(\omega ,b,\alpha )$$

由于$L(\omega ,b,\alpha )$是关于$\omega ,b$分量的多元二次方程，开口向上，故最小值为偏导向量为0的点，于是
$${\nabla }_{\omega }L(\omega ,b,\alpha )=\omega -\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0（1）$$
$${\nabla }_{b}L(\omega ,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0（2）$$
由(1)(2)得
$$mi{n}_{\alpha :\alpha \ge 0}L(\omega ,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
于是$ma{x}_{\omega ,b}mi{n}_{\alpha :\alpha \ge 0}L(\omega ,b,\alpha )$可化为
$$ma{x}_{\alpha }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$${\alpha }_i\ge 0,i=1,...,N$$

最终化为
$$mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$
$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$${\alpha }_i\ge 0,i=1,...,N$$

求解对偶问题

求解上面的对偶最优化问题比较复杂，一般用到smo算法去求解
SMO算法

对偶问题的解和原问题的解之间的关系

对于两者解的关系有如下的定理

定理：

若函数$f(x),c_i(x)$是凸函数，$h_j(x)$是仿射函数，且$c_i(x)$是严格可行的，则$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件为$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$满足KKT条件（关于KKT的解释），即
$${\nabla }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0$$
$${\alpha }_i^{\ast }{c}_i^{\ast }=0$$
$$c_i^{\ast }\le 0,{\alpha }_i^{\ast }\ge 0,h_j^{\ast }=0$$
$$i=1,...,m;j=1,...,n$$

• 原问题为：
  $mi{n}_{x\in R}f(x)$
  $s.t{c}_i(x)\le 0,h_j(x)=0$
  $i=1,...,m;j=1,...,n$
• $L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=f(x)+{\sum }_i{\alpha }_i{c}_i(x)+{\sum }_j{\beta }_j{h}_j(x)$
• 仿射函数即为最高次数为1的多项式函数，形如$h(x)={\sum }_i{\alpha }_i{x}_i+b$
• 严格可行意思是$\exists x,\forall i,c_i(x)<0$

显然，$\frac{1}{2}||\omega |{|}^2,c_i(\omega ,b)=1-y_i(\omega \cdot x_i+b)$均为凸函数，又由于数据是线性可分的，故存在$(\omega ,b)$使得$c_i<0$，故
由KKT条件有

$${\nabla }_{\omega }L(\omega ,b,\alpha )=\omega -\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$
$${\nabla }_{b}L(\omega ,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$
$${\alpha }_i(y_i(\omega \cdot x_i+b)-1)=0$$
$${\alpha }_i\ge 0,i=1,..,N$$

于是有
$$\omega =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$
如果
$$\forall i,{\alpha }_i=0$$
则
$$\omega =0$$
而$(0,b)$不是最优化问题的可行解，因为$y_{i}b-1$不可能一直大于等于0，$y_i$有正有负。故存在${\alpha }_{j^{\ast }}>0$,于是有$y_i(\omega \cdot x_i+b)$=0,两边同乘$y_i$,由$y_i^2=1$,得
$$b=y_i-\sum _{i=1}^N{\alpha }_i{y}_i(x_i\cdot x_{j^{\ast }})$$
最终求得超平面
$$\sum _{i=1}^N{\alpha }_i{y}_i(x\cdot x_i)+b=0$$
决策函数
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i{y}_i(x\cdot x_i)+b)$$

支持向量、间隔边界

${\alpha }_i>0$对应得样本点$(x_i,y_i)$称为支持向量，由超平面的公式可以看到，只有支持向量才会影响到超平面。此时，由KKT条件可知
$$y_i(\omega \cdot x_i+b)-1=0$$
即$$|\frac{\omega }{||\omega ||}\cdot x_i+\frac{b}{||\omega ||}|=\frac{1}{||\omega ||}$$
即支持向量是到超平面距离为$\frac{1}{||\omega ||}$的样本，其中两条橙色直线所代表的平面又叫做间隔边界（和分隔超平面的距离为$\frac{1}{||\omega ||}$,如图黑色方框所示所示：