svm1

支持向量机（$SVM$）

1 导读部分

• $SVM$是一种二分类模型
• $SVM$的基本模型是定义在特征空间上的间隔最大的线性分类器
• $SVM$还包括核技巧，这使得它成为非线性分类器
• $SVM$的学习策略是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题
• $SVM$模型由简至繁的分类：
  • 线性可分支持向量机：训练数据线性可分，通过硬间隔最大化，学习一个线性的分类器
  • 线性支持向量机：训练数据近似线性可分，通过软间隔最大化，学习一个线性的分类器
  • 非线性支持向量机：训练数据线性不可分，通过核技巧和软间隔最大化，学习一个非线性的分类器

2 线性可分支持向量机与硬间隔最大化

一个特征空间上的数据集：

• T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中 x i ∈ X = R n , y i ∈ Y = { + 1 , − 1 } x_{i} \in \mathcal{X}=\mathbf{R}^{n},y_{i} \in \mathcal{Y}=\{+1,-1\} xi​∈X=Rn,yi​∈Y={+1,−1}，$i=1,2,\cdots ,N$，$x_i$是第$i$个特征向量，也称为实例，$y_i$为$x_i$的类别标记

• 当$y=+1$时，称$x_i$为正例；当$y=-1$时，称$x_i$为正例

• $(x_i,y_i)$为样本点，假设数据集是线性可分的

• 分离超平面为：$w\cdot x+b=0$，由法向量$w$和截距$b$决定，由$(w,b)$表示；将特征空间分为两部分：正类和负类

函数间隔和几何间隔：

• 函数间隔：

  • 给定数据集$T$和超平面$(w,b)$，超平面$(w,b)$和样本点$(x_i,y_i)$的函数间隔为：${\hat{\gamma }}_i=y_i\left(w\cdot x_i+b\right)$
  • 函数间隔可以表示分类预测的正确性及确信度
  • 定义超平面$(w,b)$关于训练数据集$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的函数间隔之和最小值，即：$\hat{\gamma }=\underset{i=1,\cdots ,N}{\min }{\hat{\gamma }}_i$

• 几何间隔：

  • 给定数据集$T$和超平面$(w,b)$，超平面$(w,b)$和样本点$(x_i,y_i)$的几何间隔为：${\gamma }_i=y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)$
  • 几何间隔对法向量$w$和截距$b$做了规范化处理，同除$w$的$L_2$范数，是样本点到超平面带符号的距离
  • 定义超平面$(w,b)$关于训练数据集$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的几何间隔之和最小值，即：$\gamma =\underset{i=1,\cdots ,N}{\min }{\gamma }_i$

• 函数间隔和几何间隔的关系：${\gamma }_i=\frac{{\hat{\gamma }}_i}{\Vert w\Vert }$，$\gamma =\frac{\hat{\gamma }}{\Vert w\Vert }$

间隔最大化：

• 支持向量机学习：正确分类训练数据集+找到几何间隔最大的分离超平面（以获得比较好的泛化能力），这个超平面是唯一的

• 求函数间隔最大化的超平面：
  $$\begin{array}{ll}\underset{w,b}{\max }& \gamma \\ \text{ s.t. }& y_i\left(\frac{w}{\Vert w\Vert }\cdot x_i+\frac{b}{\Vert w\Vert }\right)⩾\gamma ,i=1,2,\cdots ,N\end{array}$$

• 求几何间隔最大化的超平面：
  $$\begin{array}{cl}\underset{w,b}{\max }& \frac{\hat{\gamma }}{\Vert w\Vert }\\ \text{ s.t. }& y_i\left(w\cdot x_i+b\right)⩾\hat{\gamma },i=1,2,\cdots ,N\end{array}$$

• 该优化问题与几何间隔$\hat{\gamma }$的取值无关，故等价优化问题为：
  $$\begin{array}{ll}\underset{w,b}{\min }& \frac{1}{2}\Vert w{\Vert }^2\\ \text{ s.t. }& y_i\left(w\cdot x_i+b\right)-1⩾0,i=1,2,\cdots ,N\end{array}$$
  这是一个凸二次规划问题，这个式子是SVM的原始最优化问题

• 求得最优解：$w^{\ast },b^{\ast }$，得分离超平面：$w^{\ast }\cdot x+b^{\ast }=0$，得分类超平面：$f(x)=\mathrm{sign}\left(w^{\ast }\cdot x+b^{\ast }\right)$

• 最大间隔分离超平面的存在唯一性可证明

支持向量和间隔边界：

• 支持向量对应于：$y_i(w\cdot x_i+b)-1=0$

• 对应于两个超平面：

  对应$y_i=+1$的正例点，支持向量在超平面：$H_1:w\cdot x+b=1$

  对应$y_i=-1$的负例点，支持向量在超平面：$H_2:w\cdot x+b=-1$；

• 在$H_1,H_2$上的点称为支持向量，分离超平面位于$H_1,H_2$中央，$H_1,H_2$称为间隔边界

• $H_1,H_2$之间的距离称为间隔，等于：$\frac{2}{\Vert w\Vert }$

• 在确定分离超平面时只有支持向量起着决定作用，所以将这种分类模型称为支持向量机

• 例$7.1$的解法，$Python$程序实现为：

  from scipy import optimize
  import numpy as np
  
  fun = lambda x: ((x[0]) ** 2 + (x[1]) ** 2)/2
  cons = ({'type': 'ineq', 'fun': lambda x: 3 * x[0] + 3 * x[1] + x[2] - 1},
          {'type': 'ineq', 'fun': lambda x: 4 * x[0] + 3 * x[1] + x[2] - 1},
          {'type': 'ineq', 'fun': lambda x: -x[0] - x[1] - x[2] - 1})
  res = optimize.minimize(fun, np.ones(3), method='SLSQP', constraints=cons)
  res
  

学习的对偶问题：

• 对偶问题往往更容易求解；自然引入核函数，进而推广到非线性分类问题

• 针对每个不等式约束，定义拉格朗日乘子${\alpha }_i\ge 0$，定义拉格朗日函数：
  KaTeX parse error: No such environment: align at position 19: …olor{red}\begin{̲a̲l̲i̲g̲n̲}̲ L(w,b,\alpha)&…
  其中$\alpha =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_N{)}^T$为拉格朗日乘子向量

• 原始问题是极小极大问题，根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：
  $$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

• 求$\underset{w,b}{\min }L(w,b,\alpha )$：
  $$\begin{array}{l}{\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ {\nabla }_{b}L(w,b,\alpha )=\sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$

  得：
  $$\begin{array}{l}w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\\ \sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
  代入$L(w,b,\alpha )$后得：
  $$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i{y}_i\left(\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\right)\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\end{array}$$

  即：
  $$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i$$

• 求$\underset{w,b}{\min }L(w,b,\alpha )$对$\alpha$的极大，既是对偶问题：
  $$\begin{array}{cl}\underset{\alpha }{\max }& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i\\ \text{ s.t. }& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}$$

  目标函数转化为最小：
  $$\begin{array}{cl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i\\ \text{ s.t. }& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\cdots ,N\end{array}$$

• 根据上不等式可求得${\alpha }^{\ast }={\left({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }\right)}^{\mathrm{T}}$，进一步求得：$w^{\ast },b^{\ast }$
  $$\begin{array}{rl}{w}^{\ast }& =\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\\ b^{\ast }=& y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x_i\cdot x_j\right)\end{array}$$
  分离超平面为：
  $$\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x\cdot x_i\right)+b^{\ast }=0$$
  线性可分支持向量机的对偶形式，分类决策函数：
  $$f(x)=\mathrm{sign}\left(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x\cdot x_i\right)+b^{\ast }\right)$$

定义：训练数据集中对应于${\alpha }_i^{\ast }>0$的样本点$\left(x_i,y_i\right)$的实例点$x_i\in {\mathbf{R}}^n$称为支持向量

由$KKT$互补条件可知：${\alpha }_i^{\ast }\left(y_i\left(w^{\ast }\cdot x_i+b^{\ast }\right)-1\right)=0,i=1,2,\cdots ,N$

对于${\alpha }_i^{\ast }>0$的样本点$\left(x_i,y_i\right)$，有：$y_i\left(w^{\ast }\cdot x_i+b^{\ast }\right)-1=0$

或者：$w^{\ast }\cdot x_i+b^{\ast }=\pm 1$

即：样本点$\left(x_i,y_i\right)$一定在间隔边界上