【学习笔记】SVM

1、支持向量机

①线性可分的定义：如果$y_i=+1$或$-1$，一个训练样本集 { ( X i , y i ) } \left \{ (X_{i},y_{i}) \right \} {(Xi​,yi​)}线性可分，是指存在$(\omega ,b)$使的
$$y_i({\omega }^T{X}_i+b)>0\text{\hspace{1em}(1)}$$

②支持向量机寻找的最优分类直线应满足：
①该直线分开了两类；
②该直线最大化间隔（margin）；
③该直线处于间隔的中间，到所有支持向量的距离相等。

我们曾经学过，点$(x_0,y_0)$到超平面（一条直线）${\omega }_{1}x+{\omega }_2{y}_0+b=0$的距离计算公式为：
$$d=\frac{|{\omega }_1{x}_0+{\omega }_2{y}_0+b|}{\sqrt{{\omega }_1^2+{\omega }_2^2}}\text{\hspace{1em}(2)}$$
那么，$\omega$就成为了决定间隔距离的关键因素。

③支持向量机优化目标是需要找到最大化间隔的超平面，即：
最小化（Minimize）：$\frac{1}{2}||\omega |{|}^2$，即最小化$||\omega ||$
限制条件：$y_i({\omega }^T{X}_i+b)>1$
其中，$\omega =[{\omega }_1,{\omega }_2,...,{\omega }_m{]}^T$

以上的优化目标是一种凸优化（Convex Optimization）中的二次规划问题，即：（1）目标函数是二次项；（2）限制条件是一次项。这种凸优化问题，要么无解，要么只有唯一的最小值。

只要一个优化问题是凸的，我们总能找到高效快速的算法去解决它。

如果训练样本集是线性不可分的，那么以上优化问题无解，找不到$\omega$与$b$。

此时需要适当放松限制条件：对于每一个训练样本及标签$(x_i,y_i)$，需要设置一个松弛变量${\delta }_i$（slack variable），将限制条件公式（1）改写为：
$$y_i({\omega }^T{X}_i+b)\ge 1-{\delta }_i\text{\hspace{1em}(3)}$$
那么优化目标也要随之发生改变，即：
最小化：$\frac{1}{2}||\omega |{|}^2+C{\sum }_{i=1}^N{\delta }_i$或$\frac{1}{2}||\omega |{|}^2+C{\sum }_{i=1}^N{\delta }_i^2$，
限制条件：（1）${\delta }_i\ge 0$
（2）$y_i[{\omega }^T\phi (x_i)+b]\ge 1-{\delta }_i$
其中${\delta }_i\ge 0$，$C$是人为设定的比例因子。
这种在算法中需要人事先设定的参数叫做算法的超参数（Hyper Parameter）。

④支持向量机在扩大可选函数范围方面可谓独树一帜，它通过将特征空间由低维映射到高维，再在高维特征空间中用线性超平面对数据进行分类。即将训练样本由低维映射到高维后，能够增大线性可分的概率。

如图所示，有四个点，分别为$X_1=[0,0{]}^T\in C_1，X_2=[1,1{]}^T\in C_1，X_3=[1,0{]}^T\in C_2，X_4=[0,1{]}^T\in C_2$。在图中，四个点处于二维空间中，无法找到一个超平面将两类点分开。此时，我们可以通过构造一个二维到五维的映射$\phi (x)$，将这四个点映射到五维空间中。
$$\phi (x)=[a^2,b^2,a,b,ab{]}^T\text{\hspace{1em}(4)}$$
通过映射后，得到$\phi (x_1)=[0,0,0,0,0{]}^T,\phi (x_2)=[1,1,1,1,1,{]}^T,\phi (x_3)=[1,0,1,0,0{]}^T,\phi (x_4)=[0,1,0,1,0{]}^T。$此时，这四个点就成为了线性可分的。
设$\omega =[-1,-1,-1,-1,6{]}^T,b=1$，根据（1）式就可以来将四个点进行分类。

⑤如果对任意两个向量$X_1$与$X_2$，存在$K(X_1,X_2)=\phi (X_1{)}^T\phi (X_2{)}^T$，那么就可以将测试样本进行映射进而完成对类别的预测。其中，$K(X_1,X_2)$为核函数（kernel function）。

如存在两个二维向量$X_1=[x_{11},x_{12}{]}^T$与$X_2=[x_{21},x_{22}{]}^T$，映射$\phi (x)=[a^2,ab,b^2{]}^T$，那么核函数就可以表示为：
$$\begin{gathered} K(X_1,X_2)=\phi (X_1{)}^T\phi (X_2) \\ =[x_{11}^2,x_{11}{x}_{12},x_{12}^2][x_{21}^2,x_{21}{x}_{22},x_{22}^2{]}^T \\ =x_{11}^2{x}_{21}^2+x_{11}{x}_{12}{x}_{21}{x}_{22}+x_{12}^2{x}_{22}^2 \end{gathered}$$

同时，核函数$K(X_1,X_2)$能够写成$\phi (X_1{)}^T\phi (X_2)$的充分必要条件为：
①交换性，可相互交换：$K(X_1,X_2)=K(X_2,X_1)$
②半正定性：$\forall C_i(i=1\sim N)$，有${\sum }_{i=1}^N{\sum }_{j=1}^N{C}_i{C}_{j}K(X_i{X}_j)\ge 0$
常见的高斯核函数表达式为：
$$K(X_1,X_2)=e^{-\frac{||X_1-X_2|{|}^2}{2{\sigma }^2}}$$在最后也总结了一些常用的核函数。

⑥为了能够在不知道映射函数$\phi (x)$但知道$K(X_1,X_2)$时也能够求解优化问题，我们需要引入优化理论。

原问题（Prime Problem）

最小化（Minimize）：$f(\omega )$
限制条件（Subject to）：$g_i(\omega )\le 0(i=1\sim K)$ $h_i(\omega )=0(i=1\sim m)$
这种定义十分的普适与宽泛，自变量为$\omega$。

对偶问题（Dual Problem）

定义：
$$\begin{gathered} L(\omega ,\alpha ,\beta )=f(\omega )+\sum _{i=1}^K{\alpha }_i{g}_i(\omega )+\sum _{i=1}^K{\beta }_i{h}_i(\omega ) \\ =f(\omega )+{\alpha }^{T}g(\omega )+{\beta }^{T}h(\omega ) \end{gathered}$$
其中，$\alpha =[{\alpha }_1,{\alpha }_2,...,{\alpha }_K{]}^T$、$\beta =[{\beta }_1,{\beta }_2,...,{\beta }_M{]}^T$、$g(\omega )=[g_1(\omega ),g_2(\omega ),...,g_k(\omega ){]}^T$、$h(\omega )=[h_1(\omega ),h_2(\omega ),...,h_M(\omega ){]}^T$

对偶问题定义

最大化：$\theta (\alpha ,\beta )=infL(\omega ,\alpha ,\beta )$，所有定义域内的$\omega$
限制条件：${\alpha }_i\ge 0,i=1\sim N$
其中，$inf$意思是求最小值。函数$\theta (\alpha ,\beta )$是在确定了$\alpha$与$\beta$的值后，遍历所有定义域内的$\omega$，来找到函数$L(\omega ,\alpha ,\beta )$的最小值。

综合原问题和对偶问题的定义可以得到：
定理一：如果${\omega }^{\ast }$是原问题的解，$({\alpha }^{\ast },{\beta }^{\ast })$是对偶问题的解，则有：
$$f({\omega }^{\ast })\ge \theta ({\alpha }^{\ast },{\beta }^{\ast })$$

证明过程如下：
$$\begin{gathered} \theta ({\alpha }^{\ast },{\beta }^{\ast })=infL(\omega ,\alpha ,\beta ) \\ \le L({\omega }^{\ast },{\alpha }^{\ast },{\beta }^{\ast }) \\ =f({\omega }^{\ast })+{\alpha }^{{\ast }^T}g(\omega )+{\beta }^{{\ast }^T}h(\omega ) \\ \le f({\omega }^{\ast }) \end{gathered}$$
其中，由于${\omega }^{\ast }$是原问题的解（详细的看原问题的限制条件那里），因此$g({\omega }^{\ast })\le 0$，$h({\omega }^{\ast })=0$。

对偶差距（Duality Gap）

原问题与对偶问题之间的差值即为对偶差距：
$$f({\omega }^{\ast })-\theta ({\alpha }^{\ast },{\beta }^{\ast })\ge 0$$

强对偶定理（Strong Duality Theorem）

如果$g(\omega )=A\omega +b$，$h(\omega )=C\omega +d$，$f(\omega )$为凸函数，则有$f({\omega }^{\ast })=\theta ({\alpha }^{\ast },{\beta }^{\ast })$，则对偶差距为0。

综合以上几个理论，我们最后引入优化理论：

优化理论

定义：$G=f({\omega }^{\ast })-\theta ({\alpha }^{\ast },{\beta }^{\ast })\ge 0$
G称为原问题与对偶问题的间距（Duality Gap）。对于某些特定的优化问题，可以证明对偶间距$G=0$。

⑦引入优化理论后，我们就可以将支持向量机的原问题（③）转换为对偶问题。很明显，优化目标与原问题是对应的。我们将优化目标中的一些条件进行修改：
首先，将优化目标中的${\delta }_i\ge 0$取相反数转换成${\delta }_i\le 0$，那么优化目标就变成：
最小化：$\frac{1}{2}||\omega |{|}^2-C{\sum }_{i=1}^N{\delta }_i$
限制条件：（1）${\delta }_i\le 0$，
（2）$y_i[{\omega }^T\phi (x_i)+b]\ge 1+{\delta }_i$
我们将限制条件（2）也转换为$\le$的形式，即：$1+{\delta }_i-y_i{\omega }^T\phi (x_i)-y_{i}b\le 0$。

整体原问题完整表达为：
最小化：$\frac{1}{2}||\omega |{|}^2-C{\sum }_{i=1}^N{\delta }_i$
限制条件：（1）${\delta }_i\le 0$，
（2）$1+{\delta }_i-y_i{\omega }^T\phi (x_i)-y_{i}b\le 0$

到此为止，已经将优化目标通过优化理论转换为原问题了。此时，我们通过继续将原问题转换为对偶问题：
最大化：$\theta (\alpha ,\beta )=inf[\frac{1}{2}||\omega |{|}^2-C{\sum }_{i=1}^N{\delta }_i+{\sum }_{i=1}^N{\beta }_i{\delta }_i+{\sum }_{i=1}^N{\alpha }_i[1+{\delta }_i-y_i{\omega }^T\phi (x_i)-y_{i}b]]$，所有定义域内的$(\omega ,{\delta }_i,b)$。
限制条件：（1）${\alpha }_i\ge 0$
（2）${\beta }_i\ge 0$
其实转换的关键就是找准函数，对着公式套就行了。

⑧我们得到了优化目标的对偶问题，目标转换为了最大化函数$\theta (\alpha ,\beta )$，找到参数$\omega ,{\delta }_i,b$。我们可以通过对$\theta (\alpha ,\beta )$求导得到极值所在的参数。即：
$$\frac{dL}{d\omega }=\omega -\sum _{i=1}^N{\alpha }_i{y}_i\phi (x_i)=0\text{\hspace{1em}(6)}$$
$$\frac{dL}{d\delta }=-C+\sum _{i=1}^N{\beta }_i+\sum _{i=1}^N{\alpha }_i=0\text{\hspace{1em}(7)}$$
$$\frac{dL}{db}=-\sum _{i=1}^N{\alpha }_i{y}_i=0\text{\hspace{1em}(8)}$$
当$\omega$、${\alpha }_i$、${\beta }_i$都满足以上条件时，就可以满足目标。

将以上三个式子带入$\theta (\alpha ,\beta )$中，我们可以得到：
$$\theta (\alpha ,\beta )=\frac{1}{2}||\omega |{|}^2+\sum _{i=1}^N{\alpha }_i-\sum _{i=1}^N{a}_i{y}_i{\omega }^T\phi (x_i)\text{\hspace{1em}(9)}$$
其中，我们先计算$\frac{1}{2}||\omega |{|}^2$。通过（6）式我们可以计算出：
$$\begin{gathered} \frac{1}{2}||\omega |{|}^2=\frac{1}{2}{\omega }^T\omega \\ =\frac{1}{2}(\sum _{i=1}^N{\alpha }_i{y}_i\phi (x_i){)}^T(\sum _{i=1}^N{\alpha }_i{y}_i\phi (x_i)) \\ =\frac{1}{2}\sum _{i=1}^N\sum _{i=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\phi (x_i{)}^T\phi (x_j) \end{gathered}$$

我们注意到，该结果末尾的$\phi (x_i{)}^T\phi (x_j)=K(X_1,X_2)$，即核函数。通过对偶问题的处理我们将$\phi (x_i)$消掉了。

然后，我们同样通过（6）式来计算${\sum }_{i=1}^N{a}_i{y}_i{\omega }^T\phi (x_i)$：
$$\begin{gathered} \sum _{i=1}^N{\alpha }_i{y}_i{\omega }^T\phi (x_i)=\sum _{i=1}^N{\alpha }_i{y}_i(\sum _{j=1}^N{\alpha }_j{y}_j\phi (x_j){)}^T\phi (x_i) \\ =\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\phi (x_j{)}^T\phi (x_i) \end{gathered}$$

我们又发现，结果末尾依然出现了$\phi (x_i{)}^T\phi (x_j)=K(X_1,X_2)$。最后，（9）式就变成了：
$$\begin{gathered} \theta (\alpha ,\beta )=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\phi (x_j{)}^T\phi (x_i) \\ =\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(X_i,X_j)\text{\hspace{1em}(10)} \end{gathered}$$

2、训练与测试

①训练流程
输入$[(x_i,y_i){]}_{i=1\sim N}$，解优化问题：

最大化：$$\begin{gathered} \theta (\alpha ,\beta )={\sum }_{i=1}^N{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\phi (x_j{)}^T\phi (x_i) \\ ={\sum }_{i=1}^N{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(X_i,X_j) \end{gathered}$$
限制条件：（1）$0\le {\alpha }_i\le C$
（2）${\sum }_{i=1}^N{\alpha }_i{y}_i=0$

计算$b$的值：
$$b=\frac{1-y_i{\sum }_{j=1}^N{\alpha }_j{y}_{j}K(X_i,X_j)}{y_i}$$
关于$b$值的计算推导，需要用到KKT条件，这个部分后面再补充。

②测试流程
输入测试样本$X$，若${\sum }_{i=1}^N{\alpha }_i{y}_{i}K(X_i,X_j)+b\ge 0$，则$y=+1$；若${\sum }_{i=1}^N{\alpha }_i{y}_{i}K(X_i,X_j)+b\le 0$，则$y=-1$。

3、常用核函数

Linear（线性内核）：$K(x,y)=x^{T}y$
Ploy（多项式核）：$K(x,y)=(x^{T}y+1{)}^d$
Rbf（高斯径向基函数核）：$K(x,y)=e^{-\frac{||x-y|{|}^2}{2{\sigma }^2}}$
Tanh核：$K(x,y)=tanh(\beta x^{T}y+b)$
其中，$tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$