【ML】支持向量机SVM：线性可分与非线性可分、硬间隔与软间隔

支持向量机（support vector machine, SVM）是一种二分类模型。

  支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。

• 当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器；
• 当训练数据近似可分时，通过软间隔最大化，也学习一个线性的分类器；
• 当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

数据
  假设输入空间与特征空间为两个不同的空间，输入空间为欧式空间或离散集合，特征空间为欧式空间或希尔伯特空间，通过某个映射$\Phi$可将输入空间映射到特征空间。
  给定输入空间上的训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\} T={(x1​,y1​),(x2​,y2​),...,(xn​,yn​)}
其中， x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } , i = 1 , 2 , . . . , n x_i\in\mathcal{X}=\mathbb{R}^n,y_i\in\mathcal{Y}=\{+1,-1\},i=1,2,...,n xi​∈X=Rn,yi​∈Y={+1,−1},i=1,2,...,n，$x_i$属于输入空间，也称实例，$y_i$为$x_i$的类标记，当$y_i=+1$时，称$x_i$为正例，当$y_i=-1$时，称$x_i$为负例，$(x_i,y_i)$称为样本点。

1. 线性可分支持向量机与硬间隔最大化

训练数据集T线性可分。特征空间即为输入空间。

  线性可分支持向量机： 给定线性可分训练集，通过间隔最大化或等价求解相应的凸二次规划问题学习得到的分离超平面为
$$w^{T}x+b=0$$
以及相应的分类决策函数
$$f(x)=sign(w^{T}x+b)$$
称为线性可分支持向量机。

这里，$w^{T}x$也可写成欧式空间内积的形式$<w,x>$。

学习超平面参数$(w,b)$

  一般地，当训练数据集线性可分时，存在无穷个超平面可将两类数据正确分开。

  一个点距离分离超平面的远近可以表示可以表示分类预测的确信程度：据超平面越远，就比较确信预测是正确的；距离超平面越近，预测值的正确性就不那么确信。基于此，支持向量机的策略是：找到一个超平面，使得离该超平面最近的数据点能够最远。

几何间隔

  点距离超平面的距离通过几何间隔衡量：对于给定的训练集$T$和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的几何间隔 为
$${\gamma }_i=\frac{1}{||w||}[y_i(w^T{x}_i+b)]$$
定义超平面$(w,b)$关于训练数据$T$的几何间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的几何间隔之最小值：
$$\gamma =\underset{i}{\min }{\gamma }_i$$

相应地，定义函数间隔：
$$\widehat{{\gamma }_i}=y_i(w^T{x}_i+b),\hat{\gamma }=\underset{i}{\min }{\hat{\gamma }}_i$$

• $${\gamma }_i=\frac{\widehat{{\gamma }_i}}{||w||},\gamma =\frac{\hat{\gamma }}{||w||}$$
• 如果超平面参数$(w,b)$成比例的改变（超平面不变），函数间隔也按比例改变，而几何间隔不变。

关于几何间隔的说明
$$y_i(w^T{x}_i+b)=|w^T{x}_i+b|$$

$$\{\begin{array}{l}\frac{1}{||w||}(w^T{x}_i+b)<0\Rightarrow y_i=-1\\ \frac{1}{||w||}(w^T{x}_i+b)>0\Rightarrow y_i=+1\end{array}$$

间隔最大化

这里间隔最大化又称硬间隔最大化。

  间隔最大化是指最大化超平面与数据集的几何间隔，直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类，也就是说，不仅将正负例点分开，而且对最难分的实例点（离超平面最近）也有足够大的确信度将它们分开。
  间隔最大化的数学表述：
$$\begin{array}{rl}& \underset{w,b}{\max }\gamma \\ & s.t.\frac{1}{||w||}[y_i(w^T{x}_i+b)]\ge \gamma ,i=1,2,...,n\end{array}$$
约束条件将$(w,b)$与$\gamma$联系起来，并指明$\gamma$是最小间隔。
  该约束优化问题等价于：
$$\begin{array}{rl}& \underset{w,b}{\max }\frac{\hat{\gamma }}{||w||}\\ & s.t.y_i(w^T{x}_i+b)\ge \hat{\gamma },i=1,2,...,n\end{array}$$
假设将$(w,b)$按比例放缩为$(\lambda w,\lambda b)$，这时，超平面没有变，函数间隔为$\lambda \hat{\gamma }$，因此，$\hat{\gamma }$的值对优化问题最优解没有影响，不妨取$\hat{\gamma }=1$，则有等价约束问题：
$$\begin{array}{rl}& \underset{w,b}{\max }\frac{1}{||w||}\\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,n\end{array}$$
  转化为极小化问题：
$$\begin{array}{rl}& \underset{w,b}{\min }\frac{1}{2}||w|{|}^2\\ & s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,n\end{array}$$
这是一个凸二次规划问题（目标函数、不等式约束函数是连续可微凸函数，等式约束函数是仿射函数）。
  可以证明，线性可分训练数据集的最大间隔分离超平面是存在且唯一的。

SVM求解

  定义拉格朗日函数：
$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1)$$
其中$\alpha =({\alpha }_1,...,{\alpha }_n{)}^T$为拉格朗日乘子，${\alpha }_i\ge 0,i=1,...,n$。
  原始问题等价于
$$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )$$
根据拉格朗日对偶性，原始问题的对偶问题是
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
由于凸二次规划问题满足强对偶性，即
$$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )=\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
因此可通过求解更简单的对偶问题求解原始问题。

1.求解${\min }_{w,b}L(w,b,\alpha )$
  最优解满足一阶最优性条件：
$$\{\begin{array}{l}{\nabla }_{w}L(w,b,\alpha )=w-{\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i=0\Rightarrow w={\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i\\ {\nabla }_{b}L(w,b,\alpha )=-{\sum }_{i=1}^n{\alpha }_i{y}_i=0\Rightarrow {\sum }_{i=1}^n{\alpha }_i{y}_i=0\end{array}$$
带入拉格朗日函数，可得
$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^n{\alpha }_i$$

2.对${\min }_{w,b}L(w,b,\alpha )$求$\alpha$的极大
即求解
$$\begin{array}{rl}& \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^n{\alpha }_i\\ & s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,...,n\end{array}$$
转化为求解极小化问题
$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^n{\alpha }_i\\ & s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,...,n\end{array}$$
设${\alpha }^{\ast }=({\alpha }_1^{\ast },...,{\alpha }_n^{\ast }{)}^T$为该极小化问题的最优解，则可以证明，存在下标$j$，使得${\alpha }_j^{\ast }>0$，并可按下式求得原始最优化问题的解$w^{\ast },b^{\ast }$
$$w^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i{x}_i$$

$$b^{\ast }=y_j-\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$

可写分类决策函数：
$$f(x)=sign(\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i(x_i\cdot x)+b^{\ast })$$

支持向量与间隔边界

  在线性可分情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量，也就是说，支持向量是使约束条件等号成立的点，即
$$y_i(w^T{x}_i+b)-1=0$$
  对$y_i=+1$的正例点，支持向量在超平面$H_1:w^T{x}_i+b=1$上；
  对$y_i=-1$的负例点，支持向量在超平面$H_2:w^T{x}_i+b=-1$上。

  $H_1$和$H_2$平行，它们之间的距离称为间隔（margin），$H_1$和$H_2$称为间隔边界。

数理角度
   称数据集中对应于${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$的实例为支持向量（support vector）。
   由原始问题KKT条件（强对偶性等价于KKT条件）中互补松弛条件知，
$${\alpha }_i^{\ast }(y_i(w^{\ast T}{x}_i+b^{\ast })-1)=0,i=1,...,n$$
对${\alpha }_i^{\ast }>0$的实例，有 $$y_i(w^{\ast T}{x}_i+b^{\ast })-1=0$$ 或
$$w^{\ast T}{x}_i+b^{\ast }=\pm 1$$ 说明支持向量一定在间隔边界上。

2. 线性支持向量机与软间隔最大化

训练数据集T线性可分。特征空间即为输入空间。

  线性不可分意味着样本点$(x_i,y_i)$不能满足函数间隔大于等于1的约束。为解决这个问题，对每个样本点$(x_i,y_i)$引进一个松弛变量${\xi }_i\ge 0$，使函数加上松弛变量大于等于1，这样，约束条件变为
$$y_i(w^T{x}_i+b)\ge 1-{\xi }_i$$
同时，对每个松弛变量${\xi }_i$，支付一个代价${\xi }_i$，目标函数变成
$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i$$
其中，$C>0$为惩罚参数：$C$值大对误分类的惩罚增大，$C$值小对误分类的惩罚减小。
  线性不可分的线性支持向量机的学习问题变为（原始问题）：
$$\begin{array}{rl}& \underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i\\ & s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i,i=1,2,...,n\\ & {\xi }_i\ge 0,i=1,2,...,n\end{array}$$
这是一个凸二次规划问题，因而关于$(w,b,\xi )$的解是存在的。可以证明$w$的解是唯一的，但$b$的解不唯一，存在于一个区间。
  设原始问题的解是$w^{\ast },b^{\ast }$，于是可以得到分离超平面$w^{\ast T}x+b^{\ast }=0$及分类决策函数$f(x)=sign(w^{\ast T}x+b^{\ast })$

求解SVM

  定义拉格朗日函数：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)-\sum _{i=1}^n{\mu }_i{\xi }_i$$
其中$\alpha =({\alpha }_1,...,{\alpha }_n{)}^T,\mu =({\mu }_1,...,{\mu }_n{)}^T$为拉格朗日乘子${\alpha }_i\ge 0,{\mu }_i\ge 0,i=1,...,n$。
  原始问题等价于
$$\underset{w,b,\xi }{\min }\underset{\alpha ,\mu }{\max }L(w,b,\xi ,\alpha ,\mu )$$
根据拉格朗日对偶性，原始问题的对偶问题是
$$\underset{\alpha ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$$
由于凸二次规划问题满足强对偶性，即
$$\underset{w,b,\xi }{\min }\underset{\alpha ,\mu }{\max }L(w,b,\xi ,\alpha ,\mu )=\underset{\alpha ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$$
因此可通过求解更简单的对偶问题求解原始问题。

1.求解${\min }_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )$
  最优解满足一阶最优性条件：
$$\{\begin{array}{l}{\nabla }_{w}L(w,b,\xi ,\alpha ,\mu )=w-{\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i=0\Rightarrow w={\sum }_{i=1}^n{\alpha }_i{y}_i{x}_i\\ {\nabla }_{b}L(w,b,\xi ,\alpha ,\mu )=-{\sum }_{i=1}^n{\alpha }_i{y}_i=0\Rightarrow {\sum }_{i=1}^n{\alpha }_i{y}_i=0\\ {\nabla }_{{\xi }_i}L(w,b,\xi ,\alpha ,\mu )=C-{\alpha }_i-{\mu }_i=0\Rightarrow C-{\alpha }_i-{\mu }_i=0\end{array}$$
带入拉格朗日函数，可得
$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^n{\alpha }_i$$

2.对${\min }_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )$求$\alpha$的极大
即求解
$$\begin{array}{rl}& \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^n{\alpha }_i\\ & s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i\ge 0\\ & C-{\alpha }_i-{\mu }_i=0,{\mu }_i\ge 0,i=1,...,n\end{array}$$
转化为求解极小化问题
$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^n{\alpha }_i\\ & s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i\ge 0\\ & 0\le {\alpha }_i\le C,i=1,...,n\end{array}$$
设${\alpha }^{\ast }=({\alpha }_1^{\ast },...,{\alpha }_n^{\ast }{)}^T$为该极小化问题的最优解，若存在${\alpha }^{\ast }$的一个分量使得${\alpha }_j^{\ast }，0<{\alpha }_j^{\ast }<C$，则原始最优化问题的解$w^{\ast },b^{\ast }$可按下式求得
$$w^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i{x}_i$$

$$b^{\ast }=y_j-\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$

支持向量

  支持向量、分离超平面、间隔边界的定义同线性可分支持向量机时的定义，即，称${\alpha }^{\ast }=({\alpha }_1^{\ast },...,{\alpha }_n^{\ast }{)}^T$中对应于${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$的实例为支持向量（软间隔支持向量），分离超平面$w^T{x}_i+b=0$，间隔边界$H_1:w^T{x}_i+b=1$、$H_2:w^T{x}_i+b=-1$。

  原始问题的KKT互补松弛条件：
$${\alpha }_i(y_i(w^T{x}_i+b)-1+{\xi }_i)=0$$

$${\mu }_i{\xi }_i=(C-{\alpha }_i){\xi }_i=0$$

根据第一个式子，当${\alpha }_i^{\ast }>0$时，对应的样本点满足
$$y_i(w^T{x}_i+b)-1+{\xi }_i=0$$
所以有，

• 对$y_i=+1$的正例点，支持向量在超平面$w^T{x}_i+b=1-{\xi }_i$上；
• 对$y_i=-1$的负例点，支持向量在超平面$w^T{x}_i+b=-1+{\xi }_i$上。

再结合第二个式子，

• 若${\alpha }_i^{\ast }<C$，则${\xi }_i=0$，支持向量恰好在间隔边界上；
• 若${\alpha }_i^{\ast }=C,0<{\xi }_i<1$，则分类正确，支持向量在间隔边界与分离超平面之间；
• 若${\alpha }_i^{\ast }=C,{\xi }_i=1$，则支持向量在分离超平面上；
• 若${\alpha }_i^{\ast }=C,{\xi }_i>1$，则支持向量在分离超平面误分一侧。

  总结来说，软间隔的支持向量或者在间隔边界上，或者在间隔边界与分离超平面之间，或者在分离超平面误分一侧。

3. 非线性支持向量机与核函数

训练数据集线性不可分。输入空间不同于特征空间。

  非线性支持向量机： 从非线性分类训练集，通过核函数与软间隔最大化，学习得到的分类决策函数
$$f(x)=sign(\sum _{i=1}^n{\alpha }_i^{\ast }{y}_{i}K(x,x_i)+b^{\ast })$$
称为非线性支持向量，$K(x,z)$是正定核函数。

  如果能用输入空间（${\mathbb{R}}^n$）中的一个超曲面将正负例正确分开，则称这个问题为非线性可分问题。

  非线性问题往往不好直接求解，通常进行一个非线性变换$z=\varphi (x)$，将非线性可分数据集 { ( x i , y i ) } \{(x_i,y_i)\} {(xi​,yi​)}变换为线性可分数据集 { ( ϕ ( x i ) , y i ) } \{(\phi(x_i),y_i)\} {(ϕ(xi​),yi​)}，然后通过求解变换后的线性问题求解原来的非线性问题，而在求解过程中，只涉及内积运算$<\Phi (x_i),\Phi (x_j)>$，利用核函数$K(x,y)=<\Phi (x),\Phi (y)>$的性质可简化。

  具体地，现在需要求解分离超平面
$$w^T\varphi (x)+b=0$$
由线性可分支持向量机的结果，硬间隔最大化需要求解如下优化问题，
$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^n{\alpha }_i\\ & s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,...,n\end{array}$$

原始问题为：
$$\begin{array}{rl}& \underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2\\ & s.t.y_i(w^T\varphi (x_i)+b)\ge 1,i=1,2,...,n\end{array}$$

软间隔最大化需要求解如下优化问题，
$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^n{\alpha }_i\\ & s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i\ge 0\\ & 0\le {\alpha }_i\le C,i=1,...,n\end{array}$$

原始问题为：
$$\begin{array}{rl}& \underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i\\ & s.t.y_i(w^T\varphi (x_i)+b)\ge 1-{\xi }_i,i=1,2,...,n\\ & {\xi }_i\ge 0,i=1,2,...,n\end{array}$$

设${\alpha }^{\ast }=({\alpha }_1^{\ast },...,{\alpha }_n^{\ast }{)}^T$为极小化问题的最优解，则存在下标$j$，使得${\alpha }_j^{\ast }>0$，并可按下式求得原始最优化问题的解$w^{\ast },b^{\ast }$
$$w^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i\varphi (x_i)$$

$$b^{\ast }=y_j-\sum _{i=1}^n{\alpha }_i^{\ast }{y}_{i}K(x_i,x_j)$$

可写分类决策函数：
$$f(x)=sign(\sum _{i=1}^n{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast })$$

类似地，分离超平面
$$w^{\ast T}x+b^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast }=0$$
间隔平面
$$\sum _{i=1}^n{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast }=1,\sum _{i=1}^n{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast }=-1$$

记$$g(x)=w^{\ast T}x+b^{\ast }=\sum _{i=1}^n{\alpha }_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast }$$
则硬间隔最大化的KKT条件，

• 约束可行：$y_{i}g(x_i)\ge 1$
• 互补松弛：${\alpha }_i^{\ast }(y_i(w^{\ast T}\varphi (x_i)+b^{\ast })-1)=0⟹{\alpha }_i^{\ast }(y_{i}g(x_i)-1)=0,i=1,...,n$

当${\alpha }^{\ast }>0$时，$y_{i}g(x_i)=1$，支持向量在间隔边界上。

软间隔最大化的KKT条件，

• 约束可行：$y_{i}g(x_i)\ge 1-{\xi }_i$
• 互补松弛：${\alpha }_i^{\ast }(y_{i}g(x_i)-1+{\xi }_i)=0,{\mu }_i^{\ast }{\xi }_i=(C-{\alpha }_i^{\ast }){\xi }_i=0$

进一步可推知，

• $0<{\alpha }^{\ast }<C⟹{\xi }_i=0⟹y_{i}g(x_i)=1$
• ${\alpha }^{\ast }=0⟹{\xi }_i=0⟹y_{i}g(x_i)\ge 1$
• ${\alpha }^{\ast }=C⟹y_{i}g(x_i)=1-{\xi }_i$，而${\xi }_i\ge 0$，故${\alpha }^{\ast }=C⟹y_{i}g(x_i)\le 1$

上面的条件在SMO算法中有重要应用。

参考：
统计学习方法—李航