SVM支持向量机

1.背景

1.1 最早是由Vladimir N.Vapnik和Alexey Ya.Chervonekis在1963年提出。

1.2 目前的版本（soft margin）是由Corinna和Vapnik在1993年提出，并在1995年发表。

1.3 深度学习（2012）出现之前，SVM被认为机器学习中近十几年最成功，表现最好的算法。

2.介绍

2.1 例子：

两类？哪条线最好？

2.2 SVM寻找区分两类的超平面（hyper plane），使边际（margin）最大。

总共可以有多少个可能的超平面？无数条
如何选取使边际（margin）最大的超平面（Max Margin Hyperplane）?超平面到一侧最近点的距离最大
某一个超平面中，找出超平面到一侧最近点的距离最大

在无数个超平面的距离中找出最大的距离 max margin

超平面到一侧最近点的距离等于到另一侧最近点的距离，两侧的超平面平行。

3.分类

线性可分（linear separable）和线性不可分（linear inseparable）;硬间隔（hard margin）和软间隔（soft margin）

4.定义与公式建立

类比二维空间下，一元一次函数的建立，
超平面可以定义为：
$$W^T\cdot X+b=0$$
其中，
$$W^T：weightvectot$$
W T = { w 1 T , w 2 T , . . . , w N T } W^T=\{w^T_1,w^T_2,...,w^T_N\} WT={w1T​,w2T​,...,wNT​}

N是特征值的个数； X是训练实例； b是偏置。

4.2 二维特征向量

假设2维特征向量：$X=（x_1,x_2）$
超平面方程为：$b+w_1^T{x}_1+w_2^T{x}_2=0.$

4.2.1 s.t.

所有超平面右上方的点满足:
$$b+w_1^T{x}_1+w_2^T{x}_2>0，for{y}_i=+1$$
所有超平面左下方的点满足:
$$b+w_1^T{x}_1+w_2^T{x}_2<0，for{y}_i=-1$$
综合两式，得到：$$y_i(b+w_i^T{x}_i)=y_i(b+w_1^T{x}_1+w_2^T{x}_2)>0,fori=1,2.$$

4.2.2 距离

所以最大边际距离为：
$$\{\begin{array}{l}maxmargin(w,b)=maxmi{n}_{w,b,x_i}distance(w,b,x_i)=ma{x}_{w,b}mi{n}_{x_i}(\frac{1}{||w||}|w^T{x}_i+b|)\\ y_i(w^T{x}_i+b)>0\end{array}$$
即：
$$\{\begin{array}{l}ma{x}_{w,b}\frac{1}{||w||}mi{n}_{x_i}{y}_i(w^T{x}_i+b)\\ y_i(w^T{x}_i+b)>0\end{array}$$
令$r=y_i(w^T{x}_i+b),则y_i(w^T{x}_i+b)=r,r>0$
$y_i=\pm 1，那么边界平面方程为w^T{x}_i+b=|r|$
调整weight，使$r=1$，此时，$maxmargin(w,b)=ma{x}_{w,b}\frac{1}{||w||}$
超平面定义边际的两边:
$$\{\begin{array}{l}{H}_1:b+w_1^T{x}_1+w_2^{T}x2\ge 1，for{y}_i=+1,\\ H_2:b+w_1^T{x}_1+w_2^{T}x2\le 1，for{y}_i=-1.\end{array}$$
如下图：

所有坐落在边际的两边的超平面上的点被称作“支持向量（support vectors）”
分界的超平面和H1或H2上任意一点的距离为$\frac{1}{||w||}$，其中||W||是向量的范数(norm)。

5 求解

5.1 SVM如何找出最大边际的超平面呢（MHH）？

利用一些数学推导，将公式$y_i(b+w_i^T{x}_i)>1$变为有限制的凸优化问题（convex quadratic optim）
利用Karush-Kuhn-Tucker(KTT)条件和拉格朗日公式，可以推出MMH可以被表示为以下决策边界（decision boundary）
分离超平面可以写成：
$$\sum _{i=1}^l{\lambda }_i^{\ast }{y}_i(x\cdot x_i)+b_0)=0$$
分类决策函数可以写成：
$$d(x^T)=sign(W^{\ast T}x+b^{\ast })=sign(\sum _{i=1}^l{\lambda }_i^{\ast }{y}_i(x\cdot x_i)+b_0)=sign(\sum _{i=1}^l{\lambda }_i^{\ast }{y}_i{x}_i{x}^T+b_0)$$
其中，$y_i是支持向量点x_i的类别标记；x^T是要测试的实例；$
${\lambda }_i^{\ast }和b_0都是单一数值型参数；l是支持向量点的个数。$

这就是说，分类决策函数只依赖于输入x和训练样本输入的内积。

5.2 硬间隔公式推导

对于给定的线性可分训练数据集，可以首先求对偶问题的解${\lambda }^{\ast }$；再利用对$w和b$的求导等于0的公式求得原始问题的解$w^{\ast },b^{\ast }$；从而得到分离超平面及分类决策函数。这种算法称为线性可分支持向量机的对偶学习算法。

5.3 软间隔公式推导

6. 线性不可分情况

6.1 数据集在空间中对应的向量不可被一个超平面区分开。

6.2 两个步骤来解决：

一：利用一个非线性的映射把原数据及中的向量点转化到一个更高纬度的空间中；
二：在这个高纬度的空间中找到一个线性的超平面来根据线性可分的情况处理。

6.3 如何利用非线性映射把原始数据转化到高维中？

6.3.1 例子：

3维输入向量：
$$X=(x_1,x_2,x_3)$$
转化到6维空间$Z$中去：
$$\begin{gathered} {\Phi }_1(X)=x_1，{\Phi }_2(X)=x_2，{\Phi }_3(X)=x_3， \\ {\Phi }_4(X)=(x_1{)}^2，{\Phi }_5(X)=x_1{x}_2，{\Phi }_6(X)=x_1{x}_3 \end{gathered}$$
新的决策超平面：
$$d(Z)=W^{T}Z+b$$
其中$W$和$Z$是向量，这个超平面是线性的，解出$W$和$b$之后，并且带入原方程：
$$\begin{gathered} d(Z)=w_1^T{x}_1+w_2^T{x}_2+w_3^T{x}_3+w_4^T(x_1{)}^2+w_5^T{x}_1{x}_2+w_6^T{x}_1{x}_3+b \\ =w_1^T{z}_1+w_2^T{z}_2+w_3^T{z}_3+w_4^T{z}_4+w_5^T{z}_5+w_6^T{z}_6+b \end{gathered}$$

6.3.2 思考问题：

1. 如何选择合理的非线性转化把数据转到高纬度中？
2. 如何解决计算内积时算法复杂度非常高的问题？
   答案：使用核方法（kernel trick）
   在线性SVM中转化为最优化问题时求解的公式计算都是以内积(dot product)的形式出现的
   $$\Phi (X_i)\Phi (X_j)$$
   $其中\Phi (X)$是把训练集中的向量点转化到高维的非线性映射函数，因为内积的算法复杂度非常大，所以利用核函数来取代计算非线性映射函数的内积。

6.4 核方法

6.4.1 以下核函数和非线性映射函数的内积等同

$$K(X_i,X_j)=\Phi (X_i)\Phi (X_j)$$

6.4.2 核函数举例

6.4.3 常用的核函数(kernel functions)

7. SVM扩展

SVM扩展可解决多个类别分类问题：
对于每个类，有一个当前类和其他类的二类分类器（one-vs-rest）

8. 结论

1. 训练好的模型的算法复杂度是由支持向量的个数决定的，而不是由数据的维度决定的。所以SVM不太容易产生overfitting；
2. SVM训练出来的模型完全依赖于支持向量(Support Vectors),即使训练集里面所有非支持向量的点都被去除，重复训练过程，结果仍然会得到完全一样的模型；
3. 一个SVM如果训练得出的支持向量个数比较小，SVM训练出的模型比较容易被泛化。