SVM

SVM（线性模型）数学推导

学习路线：先线性二分类解释清楚，再加入核方法扩展至非线性二分类

几个重要的概念

1. 训练样本集

   $({\mathbf{x}}_i,y_i)$，其中${\mathbf{x}}_{\mathbf{i}}$为$n$维列向量，表示$n$维特征；$y_i$为标签，当$y_i=+1$时为正样本，$y_i=-1$时为负样本。

   则训练样本集为：$D=({\mathbf{x}}_1,y_1),({\mathbf{x}}_2,y_2),\cdots ,({\mathbf{x}}_m,y_m),y\in -1,+1$

   
   

2. 什么叫超平面

   如上图，若在二维空间内（两个特征），若数据为线性可分，则可以用一条直线将正负样本区分开来（2分类问题）；若在三维空间则为一个平面；三维空间以上无法想象统称为超平面。

   但上图中区分正负样本肯定又不止一种划分方法，何者为最优？最优者才叫做SVM的超平面。

   最优的判断标准则是，若对数据样本加以扰动（可以理解为采样样本总有误差），那么SVM超平面具有最佳的鲁棒性。从几何上来看，在上图中，若将超平面左右平移，直至触碰到最近的样本，那么这个被界定的范围记为$d$，则SVM的超平面是有最大$d$的那个超平面。

   
   

3. 什么叫支持向量

   SVM超平面左右平移最先触碰到的为支持向量

   
   

4. 超平面的方程
   $${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=0$$
   其中：$\mathbf{w}$和$\mathbf{x}$都是$n\times 1$的列向量，$n$是特征维数。$b$为标量；$\mathbf{w}$还是超平面的法向量，$b$控制了超平面到原点的距离。确定了$\mathbf{w}$和$b$，超平面就被完全确定了。

   那么在超平面上方数据${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b>0$；在超平面下方数据${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b<0$；

   
   

5. ${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=0$与$\zeta {\mathbf{w}}^{\mathbf{T}}\mathbf{x}+\zeta b=0$表示的是同一个超平面

   如：$4x+4y=0$ 和 $ x+y=0$是同一个平面，$4x+4y=4$和$ x+y=1$也是同一个平面

   
   

6. 线性可分数据集的定义

   在数据集${({\mathbf{x}}_i,y_i)}_{i=1\sim m}$中，$\exists (\mathbf{w},b)$，使得对于$\forall i=1\sim m$，有：
   $$\{\begin{array}{l}\text{若}{y}_i=+1,\text{则}{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b>0\\ \text{若}{y}_i=-1,\text{则}{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b<0\end{array}$$
   即正样本全部分到上方，负样本全部分到下方

   等价于 $y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)>0$

   
   

7. 点到平面距离公式

   点$(x_0,y_0)$到平面$w_{1}x+w_{2}y+b=0$的距离表示为：
   $$d=\frac{\left|w_1{x}_0+w_2{y}_0+b\right|}{\sqrt{w_1^2+w_2^2}}$$
   则样本点到超平面的距离表示为：
   $$d=\frac{\left|{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b\right|}{\Vert \mathbf{w}\Vert }$$
   
   

8. 若假设支持向量过超平面的平行线为${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=1$和${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=-1$（如上图所示），那么可求得

   支持向量到超平面的距离为:
   $$d=\frac{1}{\Vert \mathbf{w}\Vert }$$
   那么超平面左右平移被限制的范围（即两个异类支持向量到超平面的距离之和）为：
   $${\rm Y}=\frac{2}{\Vert \mathbf{w}\Vert }$$
   ${\rm Y}$被称为SVM的“间隔”（margin）

   为什么可以假设支持向量过超平面的平行线为${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=1$和${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=-1$呢？正如上面第5点所述，由于$\mathbf{W}$和$b$可以整体缩放倍数，超平面不变。那么总可以通过$\zeta \cdot (\mathbf{w},b)\to ({\mathbf{w}}^{\prime },b^{\prime })$，使$\left|{\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b\right|=1$。归一化的操作为我们带来便利

求解超平面转化为下列优化问题

在限制条件 $y_i(w^T{x}_i+b)⩾1,i=1\sim m$ 下，最小化 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$ 的问题

即：
$$\begin{array}{rl}& \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2\\ & s.t.y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)⩾1,i=1\sim m\end{array}$$

最大化${\rm Y}=\frac{2}{\Vert \mathbf{w}\Vert }$等价于最小化$\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$，而限制条件$y_i(w^T{x}_i+b)⩾1,i=1\sim m$表示求解超平面的前提条件是所有样本都被正确分类的情况下

这样就把支持向量机的求解转化为凸优化问题中的二次规划问题

二次规划（Quadratic Programming）

1. 目标函数（Objective Function）为二次项
2. 限制条件为一次项

要么无解，要么只有一个极值

SVM（非线性模型）数学推导

若数据集非线性可分，那么线性SVM的优化问题会变得无解。通过加入正则项，可以使SVM应用于非线性可分的数据集。

改写优化目标函数和限制条件

$$\begin{array}{rl}& \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i\\ & s.t.\{\begin{array}{l}{y}_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)⩾1-{\xi }_i\\ {\xi }_i⩾0\end{array},i=1\sim m\end{array}\text{\hspace{1em}(1)}$$

其中：${\xi }_i$称为松弛变量（Slack Variable），${\sum }_{i=1}^m{\xi }_i$称为正则项

若${\xi }_i$足够大，则限制条件可以被轻易满足（即为限制条件加入了容忍度）。但${\xi }_i$又不能太大，那么限制条件就失去了意义。因此在优化目标函数里需要添加${\xi }_i$，并用一个超参数$C$来权衡最小化$\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$与最小化${\sum }_{i=1}^m{\xi }_i$之间的关系

低维到高维的映射

改写优化目标函数和限制条件后的SVM可以应用于非线性可分的数据集中。但是这样的SVM仍然是在试图寻找一条直线将正负样本划分，在某些情况下这仍然不够好，例如：

不同于其他机器学习算法，SVM试图通过高维映射，使低维空间的线性不可分问题变成高维空间中的线性可分问题，从而在高维空间中画出超平面对数据集进行划分。

我们定义高维映射$\phi (\mathbf{x})$：
$$\mathbf{x}\stackrel{\phi }{\to }\phi (\mathbf{x})$$

其中$\mathbf{x}$是低维向量，而$\phi (\mathbf{x})$为高维向量

那么SVM的优化条件变为：
$$\begin{array}{rl}& \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i\\ & s.t.\{\begin{array}{l}{y}_i({\mathbf{w}}^{\mathbf{T}}\phi ({\mathbf{x}}_{\mathbf{i}})+b)⩾1-{\xi }_i\\ {\xi }_i⩾0\end{array},i=1\sim m\end{array}$$

此时$\mathbf{w}$的维度也升高了，与$\phi (\mathbf{x})$的维度相同

例子：

对于这么一个异或问题，我们有：
$$\begin{array}{rl}& {\mathbf{x}}_1=\left[\begin{array}{c}0\\ 0\end{array}\right]\in C_1,{\mathbf{x}}_2=\left[\begin{array}{c}1\\ 1\end{array}\right]\in C_1,\\ & {\mathbf{x}}_3=\left[\begin{array}{c}1\\ 0\end{array}\right]\in C_2,{\mathbf{x}}_4=\left[\begin{array}{c}0\\ 1\end{array}\right]\in C_2\end{array}$$
定义映射关系：
$$\mathbf{x}=\left[\begin{array}{c}a\\ b\end{array}\right]\stackrel{\phi }{\to }\phi (\mathbf{x})=\left[\begin{array}{c}{a}^2\\ b^2\\ a\\ \begin{array}{c}b\\ ab\end{array}\end{array}\right]$$
则升维后的样本为

$$\begin{array}{rl}& \phi ({\mathbf{x}}_1)=\left[\begin{array}{c}\begin{array}{c}0\\ 0\end{array}\\ \begin{array}{c}0\\ 0\\ 0\end{array}\end{array}\right]\in C_1,\phi ({\mathbf{x}}_2)=\left[\begin{array}{c}\begin{array}{c}1\\ 1\end{array}\\ \begin{array}{c}1\\ 1\\ 1\end{array}\end{array}\right]\in C_1,\\ & \phi ({\mathbf{x}}_3)=\left[\begin{array}{c}\begin{array}{c}1\\ 0\end{array}\\ \begin{array}{c}1\\ 0\\ 0\end{array}\end{array}\right]\in C_2,\phi ({\mathbf{x}}_4)=\left[\begin{array}{c}\begin{array}{c}0\\ 1\end{array}\\ \begin{array}{c}0\\ 1\\ 0\end{array}\end{array}\right]\in C_2\end{array}$$

求得$\mathbf{w}$为：
$$\mathbf{w}=\left[\begin{array}{c}\begin{array}{c}-1\\ -1\end{array}\\ \begin{array}{c}-1\\ -1\\ 6\end{array}\end{array}\right],b=1$$
则
$$\begin{array}{rl}{\hat{y}}_1& ={\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_1+b=1>0\\ {\hat{y}}_2& ={\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_2+b=3>0\\ {\hat{y}}_3& ={\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_3+b=-1<0\\ {\hat{y}}_4& ={\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_4+b=-1<0\end{array}$$
可见的确通过升维，在高维空间划分了超平面，实现了非线性可分数据的分类问题。

核函数

可以证明：若升的维度越高，则数据集越有可能在高维空间被线性划分。可以猜想，若$\phi (\mathbf{x})$为无限维度，则必定可以在无限高维空间划分任意数据集。但这样，会使得$\mathbf{w}$也变为无限维度，使优化问题$(1)$变得不可解（因为$\mathbf{w}$是代求参数）。

定理：我们可以不知道无限维映射$\phi (\mathbf{x})$的显式表达，我们只要知道一个核函数（Kernel Function）
$$K({\mathbf{x}}_1,{\mathbf{x}}_2)=\phi ({\mathbf{x}}_1{)}^T\cdot \phi ({\mathbf{x}}_2)$$
则$(1)$这个优化式仍然可解。

常用核函数：

1. 高斯核
   $$K({\mathbf{x}}_1,{\mathbf{x}}_2)=e^{-\frac{\Vert x_1-x_2{\Vert }^2}{2{\sigma }^2}}$$

2. 多项式核

$$K({\mathbf{x}}_1,{\mathbf{x}}_2)=({\mathbf{x}}_1^{\mathbf{T}}{\mathbf{x}}_2+1{)}^d$$

我们知道核$K({\mathbf{x}}_1,{\mathbf{x}}_2)$的表达式，且知道$K({\mathbf{x}}_1,{\mathbf{x}}_2)$可以表示为$\phi ({\mathbf{x}}_1{)}^T\phi ({\mathbf{x}}_2)$，并且$\phi (\mathbf{x})$是无限维的（不需要知道$\phi (\mathbf{x})$的显示表达）。

$K({\mathbf{x}}_1,{\mathbf{x}}_2)$能写成$\phi ({\mathbf{x}}_1{)}^T\phi ({\mathbf{x}}_2)$的充要条件为（Mercer’s Theorem）：

1. $K({\mathbf{x}}_1,{\mathbf{x}}_2)=K({\mathbf{x}}_2,{\mathbf{x}}_1)$（交换性）
2. $\forall C_i,{\mathbf{x}}_{\mathbf{i}}(i=1\sim N)$，有${\sum }_{i=1}^N{\sum }_{j=1}^N{C}_i{C}_{j}K({\mathbf{x}}_1,{\mathbf{x}}_2)⩾0$成立（半正定性）

原问题和对偶问题

现在我们要在只知道$K({\mathbf{x}}_1,{\mathbf{x}}_2)$不知道$\phi (\mathbf{x})$的情况下，解优化问题$(1)$，因此我们需要一些理论知识铺垫。

这是优化理论的内容，用到就学一下吧

原问题（Prime Problem）：

最小化：
$$f(\mathbf{\omega })$$
限制条件：
$$\begin{gathered} g_i(\mathbf{\omega })⩽0(i=1\sim K) \\ {h}_i(\mathbf{\omega })=0(i=1\sim M) \end{gathered}$$
则其对偶问题（Dual Problem）为：

最大化：
$$\Theta (\mathbf{\alpha },\mathbf{\beta })=\underset{forall\mathbf{\omega }}{\inf }L(\mathbf{\omega },\mathbf{\alpha },\mathbf{\beta })$$

限制条件：

$$\mathbf{\alpha }⩾0$$

其中$L(\mathbf{\omega },\mathbf{\alpha },\mathbf{\beta })$为：
$$\begin{array}{rl}L(\mathbf{\omega },\mathbf{\alpha },\mathbf{\beta })& =f(\mathbf{\omega })+\sum _{i=1}^K{\alpha }_i{g}_i(\mathbf{\omega })+\sum _{i=1}^M{\beta }_i{h}_i(\mathbf{\omega })\\ & =f(\mathbf{\omega })+{\mathbf{\alpha }}^{\mathbf{T}}g(\mathbf{\omega })+{\mathbf{\beta }}^{\mathbf{T}}h(\mathbf{\omega })\end{array}$$

$\underset{forall\mathbf{\omega }}{\inf }$的意思是，在所有$\mathbf{\omega }$取值上取得的最小值

原问题和对偶问题的关系：如果${\mathbf{\omega }}^{\ast }$是原问题的解，而${\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast }$是对偶问题的解，则有：
$$f({\mathbf{\omega }}^{\ast })⩾\theta ({\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast })$$

proof:
$$\begin{array}{rl}\theta ({\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast })& =\underset{forall\omega }{\inf }L(\mathbf{\omega },{\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast })⩽L({\mathbf{\omega }}^{\ast },{\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast })\\ & =f({\mathbf{\omega }}^{\ast })+\sum _{i=1}^K{\mathbf{\alpha }}_i^{\ast }{g}_i({\mathbf{\omega }}^{\ast })+\sum _{i=1}^M{\mathbf{\beta }}_i^{\ast }{h}_i({\mathbf{\omega }}^{\ast })⩽f({\mathbf{\omega }}^{\ast })\end{array}$$
因为其中${\mathbf{\alpha }}^{\ast }⩾0$, $g_i({\mathbf{\omega }}^{\ast })⩽0$，$h_i({\mathbf{\omega }}^{\ast })=0$

强对偶定理

若$f(\mathbf{\omega })$为凸函数，且$g(\mathbf{\omega })=\mathbf{A}\mathbf{\omega }+b$，$h(\mathbf{\omega })=\mathbf{C}\mathbf{\omega }+d$，则优化问题的原问题与对偶问题间距为0，即：
$$f({\mathbf{\omega }}^{\ast })=\theta ({\mathbf{\alpha }}^{\ast },{\mathbf{\beta }}^{\ast })$$
再观察上面的proof过程，可以立即得出：

对 $\forall i=1\sim K$，有${\mathbf{\alpha }}_{\mathbf{i}}^{\ast }=0$ 或者 $g_i({\mathbf{\omega }}^{\ast })=0$

以上称为KKT条件

将SVM原问题转化为对偶问题

核函数SVM优化目标可以改写为（为了使形式上靠近优化理论，将${\xi }_i⩾0\to {\xi }_i⩽0$）

最小化：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i\to \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-C\sum _{i=1}^m{\xi }_i$$

限制条件：
$$\begin{array}{rl}{y}_i({\mathbf{w}}^{\mathbf{T}}\phi {(\mathbf{x}}_{\mathbf{i}}\text{)}+b)⩾1-{\xi }_i& \to y_i({\mathbf{w}}^{\mathbf{T}}\phi {(\mathbf{x}}_{\mathbf{i}}\text{)}+b)⩾1+{\xi }_i\\ & \to 1+{\xi }_i-y_i({\mathbf{w}}^{\mathbf{T}}\phi {(\mathbf{x}}_{\mathbf{i}}\text{)}+b)⩽0\\ {\xi }_i⩾0& \to {\xi }_i⩽0\end{array}$$

1. 原问题	1.核函数SVM原问题
最小化： $f(\mathbf{\omega })$	最小化： $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-C{\sum }_{i=1}^m{\xi }_i$
限制条件： $$\begin{gathered} g_i(\mathbf{\omega })⩽0(i=1\sim K) \\ {h}_i(\mathbf{\omega })=0(i=1\sim M) \end{gathered}$$	限制条件： $$\begin{gathered} 1+{\xi }_i-y_i({\mathbf{w}}^{\mathbf{T}}\phi {(\mathbf{x}}_{\mathbf{i}}\text{)}+b)⩽0 \\ {\xi }_i⩽0 \end{gathered}$$

从限制条件可知，左边的不等式限制条件$g_i(\mathbf{\omega })⩽0$对应右边的$1+{\xi }_i-y_i({\mathbf{w}}^{\mathbf{T}}\phi {(\mathbf{x}}_{\mathbf{i}})+b)⩽0$和${\xi }_i⩽0$；而没有等式限制条。

优化目标函数$f(\mathbf{\omega })$对应$\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C{\sum }_{i=1}^m{\xi }_i$

左边只有一个变量$\mathbf{\omega }$，而右边对应有三个变量$\mathbf{\omega }，{\xi }_i，b$

因此可以推导出核函数SVM的对偶问题：

2. 对偶问题	2. 核函数SVM对偶问题
最大化： $\Theta (\mathbf{\alpha },\mathbf{\beta })=\underset{forall\mathbf{\omega }}{\inf }L(\mathbf{\omega },\mathbf{\alpha },\mathbf{\beta })$	最大化： $\begin{array}{r}\Theta (\mathbf{\alpha },\mathbf{\beta })=\underset{forall(\mathbf{\omega },{\xi }_i,b)}{\inf }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i(1+{\xi }_i-y_i({\mathbf{w}}^{\mathbf{T}}\phi {(\mathbf{x}}_{\mathbf{i}}\text{)}+b))+\sum _{i=1}^m{\beta }_i{\xi }_i\end{array}$
限制条件： ${\alpha }_i⩾0(i=1\sim K)$	限制条件： ${\alpha }_i⩾0,{\beta }_i⩾0(i=1\sim m)$
$L(\mathbf{\omega },\mathbf{\alpha },\mathbf{\beta })=f(\mathbf{\omega })+{\sum }_{i=1}^K{\alpha }_i{g}_i(\mathbf{\omega })+{\sum }_{i=1}^M{\beta }_i{h}_i(\mathbf{\omega })$

注意，由于SVM中的不等式限制条件有${\alpha }_i$和${\beta }_i$两个，因此实际上左边的${\alpha }_i$对应右边的${\alpha }_i$和${\beta }_i$

现在我们来求解下式的具体表达式
$$\begin{array}{rl}\Theta (\mathbf{\alpha },\mathbf{\beta })& =\underset{forall(\mathbf{\omega },{\xi }_i,b)}{\inf }L(\mathbf{\omega },\mathbf{\xi },b)\\ & =\underset{forall(\mathbf{\omega },\mathbf{\xi },b)}{\inf }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i(1+{\xi }_i-y_i({\mathbf{w}}^{\mathbf{T}}\phi {(\mathbf{x}}_{\mathbf{i}}\text{)}+b))+\sum _{i=1}^m{\beta }_i{\xi }_i\end{array}$$
$\underset{forall(\mathbf{\omega },{\xi }_i,b)}{\inf }$表示求关于$(\mathbf{\omega },{\xi }_i,b)$的最小值，即求$\frac{\partial }{\partial \mathbf{\omega }}L(\mathbf{\omega },{\xi }_i,b)$，$\frac{\partial }{\partial {\xi }_i}L(\mathbf{\omega },{\xi }_i,b)$，$\frac{\partial }{\partial b}L(\mathbf{\omega },{\xi }_i,b)$，并使他们等于零：
$$\begin{array}{rl}& \frac{\partial }{\partial \mathbf{\omega }}L(\mathbf{\omega },{\xi }_i,b)=0\to \mathbf{\omega }=\sum _{i=1}^m{\alpha }_i{y}_i\phi (x_i)\\ & \frac{\partial }{\partial {\xi }_i}L(\mathbf{\omega },{\xi }_i,b)=0\to {\alpha }_i+{\beta }_i=C\\ & \frac{\partial }{\partial b}L(\mathbf{\omega },{\xi }_i,b)=0\to \sum _{i=1}^m{\alpha }_i{y}_i=0\end{array}\text{\hspace{1em}(2)}$$

其中用到矩阵求导参考矩阵论，这里给出结果

若$f(\mathbf{\omega })=\frac{1}{2}\Vert \mathbf{\omega }{\Vert }^2$，则$\frac{\partial }{\partial \mathbf{\omega }}f(\mathbf{\omega })=\mathbf{\omega }$

若$f(\mathbf{\omega })={\mathbf{\omega }}^{\text{T}}x$，则$\frac{\partial }{\partial \mathbf{\omega }}f(\mathbf{\omega })=x$

将$(2)$带入$\Theta (\mathbf{\alpha },\mathbf{\beta })$，得到：
$$\Theta (\mathbf{\alpha })=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)$$

这时，通过把原问题转换为对偶问题，得到了核函数的表示形式！

将$(2)$带入限制条件${\alpha }_i⩾0,{\beta }_i⩾0(i=1\sim m)$得到：
$$\begin{gathered} 0⩽{\alpha }_i⩽C \\ \sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$

于是我们求得了核函数SVM的优化对偶问题

核函数SVM对偶问题
最大化：$\Theta (\mathbf{\alpha })={\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)$
限制条件：$0⩽{\alpha }_i⩽C{\sum }_{i=1}^m{\alpha }_i{y}_i=0$

只有一个参数待求解：$\mathbf{\alpha }$，通常可以使用SMO算法

在测试流程中，我们可以有如下判断：
$$\{\begin{array}{l}\text{若}{\mathbf{w}}^{\mathbf{T}}\phi ({\mathbf{x}}_{\text{i}})+b>0,\text{则}{y}_{\text{i}}=+1\\ \text{若}{\mathbf{w}}^{\mathbf{T}}\phi ({\mathbf{x}}_{\text{i}})+b<0,\text{则}{y}_{\text{i}}=-1\end{array}$$
在$(2)$中，我们知道有$\mathbf{\omega }={\sum }_{i=1}^m{\alpha }_i{y}_i\phi ({\mathbf{x}}_{\mathbf{i}})$，则：
$$\begin{array}{rl}{\mathbf{w}}^{\mathbf{T}}\phi ({\mathbf{x}}_{\mathbf{i}})& =\sum _{j=1}^m{\left[{\alpha }_i{y}_i\phi ({\mathbf{x}}_j)\right]}^{\text{T}}\phi ({\mathbf{x}}_{\mathbf{i}})\\ & =\sum _{j=1}^m{\alpha }_i{y}_i\phi ({\mathbf{x}}_{\mathbf{j}}{)}^{\text{T}}\phi ({\mathbf{x}}_{\mathbf{i}})\\ & =\sum _{j=1}^m{\alpha }_i{y}_{i}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})\end{array}\text{\hspace{1em}(3)}$$
只剩下$b$待求解。确定了$b$，则核函数SVM训练完成

$b$的求解需要用到KKT条件，

3. KKT条件	3. SVM的KKT条件
$\forall i=1\sim K$， ${\mathbf{\alpha }}_{\mathbf{i}}^{\ast }=0$ 或者 $g_i({\mathbf{\omega }}^{\ast })=0$	$\forall i=1\sim m$， 1. ${\mathbf{\alpha }}_{\mathbf{i}}=0$ 或者 $1+{\xi }_i-y_i({\mathbf{w}}^{\mathbf{T}}\phi {(\mathbf{x}}_{\mathbf{i}}\text{)}+b)=0$ 2. ${\mathbf{\beta }}_{\mathbf{i}}=0$或者${\xi }_i=0$

取一个$0<{\mathbf{\alpha }}_{\mathbf{i}}<C\Rightarrow {\mathbf{\beta }}_{\mathbf{i}}=C-{\mathbf{\alpha }}_{\mathbf{i}}>0$，此时有：
$$\begin{array}{rl}{\mathbf{\beta }}_{\mathbf{i}}\ne 0& \Rightarrow {\xi }_i=0\\ {\mathbf{\alpha }}_{\mathbf{i}}\ne 0& \Rightarrow 1+{\xi }_i-y_i({\mathbf{w}}^{\mathbf{T}}\phi {(\mathbf{x}}_{\mathbf{i}}\text{)}+b)=0\\ & \Rightarrow 1-y_i({\mathbf{w}}^{\mathbf{T}}\phi {(\mathbf{x}}_{\mathbf{i}}\text{)}+b)=0\end{array}$$
带入$(3)$，得到：
$$\begin{array}{rl}b& =\frac{1}{y_i}-{\mathbf{w}}^{\mathbf{T}}\phi {(\mathbf{x}}_{\mathbf{i}}\text{)}=\frac{1-y_i{\mathbf{w}}^{\mathbf{T}}\phi {(\mathbf{x}}_{\mathbf{i}}\text{)}}{y_i}\\ & =\frac{1-y_i{\sum }_{j=1}^m{\alpha }_i{y}_{i}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})}{y_i}\end{array}$$

以上就是核函数SVM原问题转换为对偶问题，并用对偶问题训练SVM（求出${\mathbf{\alpha }}_{\mathbf{i}}$和$b$的过程）的推导过程

核函数SVM算法总结

SVM算法

1. 训练流程：

   • 输入${({\mathbf{x}}_{\mathbf{i}},y_i)}_{i=1\sim m}$

   • 解优化问题：

     ​ 最大化：$\Theta (\mathbf{\alpha })={\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)$

     ​ 限制条件：$0⩽{\alpha }_i⩽C,{\sum }_{i=1}^m{\alpha }_i{y}_i=0$

     ​ 求解$b$：找一个$0<{\mathbf{\alpha }}_{\mathbf{i}}<C$，可以算得$b=\frac{1-y_i{\sum }_{j=1}^m{\alpha }_i{y}_{i}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})}{y_i}$

2. 测试流程

   • 输入测试样本$\mathbf{x}$
     $$\{\begin{array}{l}\text{若}{\sum }_{j=1}^m{\alpha }_i{y}_{i}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})+b>0,\text{则}{y}_{\text{i}}=+1\\ \text{若}{\sum }_{j=1}^m{\alpha }_i{y}_{i}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})+b<0,\text{则}{y}_{\text{i}}=-1\end{array}$$

通过转换为对偶问题，我们可以看到上面没有出现$\phi (\mathbf{x})$，而待求解的参数只有${\mathbf{\alpha }}_{\mathbf{i}}$和$b$

SVM处理多分类问题

上面都在说如何用SVM处理二分类问题，那么怎么样用SVM处理多分类问题呢？

我们有一下三种方法：

1. 改造优化的目标函数和限制条件，使之能处理多分类问题。

   这种方法通常效果一般，SVM专为二分类而生

   
   

2. 一类VS其他类

   例子：

   若有$C_1,C_2,C_3$三类，则可以设计三个SVM

   SVM1：$(C_1,C_2)VS(C_3)$

   SVM2：$(C_1,C_3)VS(C_2)$

   SVM3：$(C_2,C_3)VS(C_1)$

   若$y_1=+1,y_2=+1,y_3=-1$，则 显然为第一类

   若$y_1=+1,y_2=-1,y_3=-1$，在看看SVM1和SVM2的${\mathbf{w}}^{\mathbf{T}}\phi ({\mathbf{x}}_{\text{i}})+b$哪一个负的比较多就判断为哪一个

   
   

3. 一类VS另一类

   例子：

   若有$C_1,C_2,C_3$三类，则可以设计三个SVM

   SVM1：$(C_1)VS(C_2)$

   SVM2：$(C_1)VS(C_3)$

   SVM3：$(C_2)VS(C_3)$

   若$y_1=+1,y_2=+1,y_3=-1$，则 显然为第一类（$C_1$被投了两票，$C_3$被投了一票）

对于n分类问题：

用一类VS其他类我们需要用n个SVM；

用一类VS另一类我们需要用$\frac{n(n-1)}{2}$个SVM。

根据经验，用一类VS另一类的效果最佳，但同时也是最复杂的。