机器学习笔记6：SVM基本原理

SVM的基本原理：
1、最大间隔原则
2、对偶表示
3、KKT条件

SVM(Support Vector Machine)，又称支持向量机，在分类问题上，除了logistic分类回归外，还有另一种实现方式，那就是使用SVM原则。那么什么是SVM 呢。
1、最大间隔原则
首先，我们定义最大间隔原则：最大化两个类最近点之间的距离。如何理解呢。我们先从简单的二维平面着手，看下图（在此之前，我们假设分类器是线性可分的）：
　　　　　
图中有两组平行线，每组都是黑、红、蓝组成的，分别是a组合b组。根据最大间隔原则，只有a组才符合最大化两个类最近点的距离；那么这距离称为间隔(margin)，黑色或者红线上面的点被称为支持向量(Support Vector)。这个符合我们的直觉，如果两个物体之间分得越开就越容易能够分别出来，而非“密不可分”
那么这个间隔如何得出呢，为了能够非常直观的得出结论，我们要在三维坐标上来演示，如下图：
　　　　　　　　　
在此图中，假设我们的线性分类面$f(\text{x})={\text{w}}^T\text{x}+x_0$，则$\text{x}={\text{x}}_p+r\frac{\text{w}}{||\text{w}||}$，其中$\text{x}$到分类面的距离为$r$。
因为：$f({\text{x}}_p)={\text{w}}^T{\text{x}}_p+w_0=0$；${\text{w}}^T\text{w}=||\text{w}|{|}^2$
所以：
　　　
当x=0时，原点到分类面的距离为：$r_0=\frac{f(0)}{||\text{w}||}=\frac{w_0}{||\text{w}||}$
线性判别函数：线性判别函数利用超平面把特征空间分隔成两个区域，超平面的法向量方向是由$\text{w}$决定的，而它的位置由$w_0$确定。判别函数$f(\text{x})$正比于$\text{x}$到超平面的代数距离(带正负号)。当$\text{x}$在超平面的正侧时，$f(\text{x})>0$;当$\text{x}$在超平面的负侧时，$f(\text{x})<0$;$\text{x}$到超平面的距离$r{y}_i=\frac{y_{i}f(\text{x})}{||\text{w}||}$, y i ∈ { 1 , − 1 } y_{i}\in \{1,-1\} yi​∈{1,−1};可视为对$\text{x}$判别的置信度。
间隔（margin）计算：
　　　　　　　　　　　　　
根据上图，间隔是两个向量相减得出的，即间隔=$|{\text{x}}_{+}-{\text{x}}_{-}|$,因为${\text{x}}_{+}={\text{x}}_{-}+\lambda \text{w}$,且$\begin{array}{c}{w}_0+{\text{w}}^T{\text{x}}_{+}=1\\ w_0+{\text{w}}^T{\text{x}}_{-}=-1\end{array}\}\Rightarrow {\text{w}}^T({\text{x}}_{+}-{\text{x}}_{-})=2\Rightarrow \lambda =\frac{2}{||\text{w}|{|}^2}$
所以最终，间隔=$|{\text{x}}_{+}-{\text{x}}_{-}|=\frac{2}{||\text{w}||}$
所以SVM最大化间隔的超平面为：
　　　　　　　
等价于：
　　　　　　　
由此我们求解的就是二次规划问题（目标函数为二次函数，约束项为线性约束），当变量个数为$D+1$，则约束项的数目为$N$

2、对偶表示
凸优化理论告诉我们该优化问题可以等价的写成其对偶形式(dual formulation)，根据拉格朗日函数：
　　　　　　$L(\alpha ,w_0,\text{w})=\frac{1}{2}{\text{w}}^T\text{w}-{\sum }_{i=1}^N{\alpha }_i(y_i(w_0+{\text{w}}^T\text{x})-1),{\alpha }_i>0$
那么是的目标函数最小的$w_0,\text{w}$为：
　　　　　　$\frac{\partial L}{\partial \text{w}}=0\Rightarrow \text{w}={\sum }_{i=1}^N{\alpha }_i{y}_i{\text{x}}_i$
　　　　　　$\frac{\partial L}{\partial w_0}=0\Rightarrow {\sum }_{i=1}^N{\alpha }_i{y}_i=0$

那么解对偶问题就在于寻找 { α i } i = 1 N \{\alpha_{i}\}_{i=1}^{N} {αi​}i=1N​，最大化目标函数：
　　　　　　
需要满足条件：$\{\begin{array}{c}{\sum }_{i=1}^N{\alpha }_i{y}_i\\ {\alpha }_i\ge 0\end{array}$
但是任然有一个问题，那就是当变量数为$N$，约束项的数目为$N+1$时，如果$N$比较大时，对偶问题的复杂度可能比原问题更高；这是我们可以利用对偶问题的kernel trick和核方法结合方法来解决，对此，该问题的高效优化算法为：SMO(Sequential Minimal Optimization)，它的主要两个思想是：一是坐标轴下降法，二是在SVM中，$△L_{w_0}=0\Rightarrow {\alpha }^{\ast }y\text{1}=0$，所以不能够单独改变一个$\alpha$，而是每次每次选取一对${\alpha }_i,{\alpha }_j$做优化
求解出${\alpha }_i$后，在求出$\text{w}={\sum }_{i=1}^N{\alpha }_i{y}_i{\text{x}}_i$和$w_0$，可以得到判别函数：$f(x)=w_0+{\text{w}}^T\text{x}=w_0+{\sum }_i{\alpha }_i{y}_i{\text{x}}_i^T\text{x}=w_0+{\sum }_i{\alpha }_i{y}_i⟨\text{x},{\text{x}}_i⟩$
这就可以得到SVM模型了，当一个新$\text{x}$进行预测是，分类器$\hat{y}=sgn(f(\text{x}))$

3、KKT条件
在二次规划问题上的求解时，根据优化理论，一个点$\text{x}$称为全局最小值的必要条件是满足Karush-Kuhn-Tucker条件（KKT)，当$f(\text{x})$是凸函数时，KKT条件也是充分条件。
对于二次规划问题的求解。我们知道其对偶性质
原问题：$P=\underset{\text{x}}{\min }{f}_0(\text{x})$
　　　　s.t. $f_i(\text{x})\le 0,1\le i\le N$
　　　　　　$h_j(\text{x})=0,1\le j\le M$
　　　　　　
拉格朗日函数：$L(\text{x},\lambda ,\mu )=f_0(\text{x})+{\sum }_i{\lambda }_i{f}_i(\text{x})+{\sum }_j{\mu }_j{h}_j(\text{x})$

对偶问题：$D=\underset{\lambda ,\mu }{\max }L(\text{x},\lambda ,\mu )$
　　　　　s.t. ${\lambda }_i\ge 0$
当$P\ge D$时，为弱对偶性；当$P=D$时，为强对偶性

待续。。。。