统计学习 -- SVM篇

SVM简介

1、是一种二分类模型；
2、基本模型是：定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；
3、核技巧使得SVM成为实质上的非线性分类器；
4、学习策略：间隔最大化；
5、学习算法：求解凸二次规划的最优化算法；
6、三个模型（由简至繁所分的三类SVM模型）：
（1）线性可分SVM，又称硬间隔 SVM，当训练数据线性可分时，通过硬间隔最大化学到的线性分类器；
（2）线性SVM，又称软间隔SVM，当训练数据近似线性可分时，通过软间隔最大化学到的线性分类器；
（3）非线性SVM，当训练数据不可分时，通过核技巧及软间隔最大化学到的非线性SVM.
7、核函数：当输入空间为欧氏空间或者离散集合，特征空间为希尔伯特空间，核函数表示将输入从输入空间映射到特征空间得到的特征向量之间的内积，使用核函数可以学习非线性支持向量机，等价于隐式地在高维的特征空间中学习线性支持向量机。
8、SMO，即序列最小最优化算法，是一种快速学习算法。

线性可分SVM和硬间隔最大化

问题的引入和感知机是一样的，只不过感知机利用误分类最小的策略，求得分离超平面，这时候的解有无穷多个，而线性可分SVM则利用间隔最大化求解最优分离超平面，此时的解是唯一的。

问题引入简单描述如下：

给定线性可分训练数据集（二分类问题，标签只有2类），通过间隔最大化（等价于求解相应的凸二次规划问题）学习得到分离超平面：
$$w^{\ast }\cdot x+b^{\ast }=0$$和相应的分类决策函数（即支持向量机）：
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$

几个概念

间隔：
（1）函数间隔： 一个点距离分离超平面的远近可以表示分类预测的确信程度，在超平面$w\cdot x+b=0$确定的情况下，$|w\cdot x+b|$可以相对地表示点$x$距离超平面的远近，且$w\cdot x+b$的符号可以表示分类是否正确，故定义函数间隔的概念如下：

a. 超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔：$$\widehat{{\gamma }_i}=y_i(w\cdot x_i+b)$$b.超平面$(w,b)$关于训练集$T$的函数间隔：$$\hat{\gamma }=\underset{i=1,\cdots ,N}{\min }\widehat{{\gamma }_i}$$
（2）几何间隔： 由于上述间隔存在下述问题：即只要成比例地改变$w$和$b$，超平面并没有变，但函数间隔却变了，比如分别变为$2w$和$2b$，虽然超平面并未改变，函数间隔却成了原来的2倍，所以为解决这个麻烦，提出了几何间隔：
a. 超平面$(w,b)$关于样本点$(x_i,y_i)$的几何间隔：$${\gamma }_i=\frac{\widehat{{\gamma }_i}}{||w||}$$b.超平面$(w,b)$关于训练集$T$的几何间隔：$$\gamma =\frac{\hat{\gamma }}{||w||}$$此时，如果成比例改变$w$和$b$，则函数间隔改变但几何间隔不变。

（3）间隔最大化： 对线性可分的训练数据集而言，线性可分分离超平面有无数多个（等价于感知机），但是几何间隔最大的分离超平面是唯一的，支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。

间隔最大化的解释：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类（而感知机则只是正确分类，可能确信度并不高），也就是说，即使对最难分类的实例点（离超平面最近的点），也有足够大的确信度将它们分开，这样的超平面应该对未知的新的实例有很好的分类预测能力。

SVM的问题是：最大化超平面$(w,b)$关于训练数据集的几何间隔$\gamma$，表述成公式则是：$$\underset{w,b}{\max }\gamma$$ $$s.t.y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})\ge \gamma ,i=1,2,\cdots ,N$$改写成函数间隔则是：
$$\underset{w,b}{\max }\frac{\hat{\gamma }}{||w||}$$ $$s.t.y_i(w\cdot x_i+b)\ge \hat{\gamma },i=1,2,\cdots ,N$$由于当函数间隔变为$\lambda \hat{\gamma }$时，则相应的$w$和$b$变为$\lambda w$和$\lambda b$即可，而这一转变对结果并没有影响，因为求得的超平面并没有改变，所以说明，函数间隔的取值并不影响最优化问题的解，为了方便求解，人为地令$\hat{\gamma }$为1，并通过一定的转换，最终的最优化问题变成下述我们熟悉的样子：$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$$$$s.t.y_i(w\cdot x_i+b)-1\ge 0,1,2,\cdots ,N$$写成平方的样子是因为后面求解时要求导，这样写后续的求解更方便。

另，可以证明线性可分训练数据集的最大间隔分离超平面是存在且唯一的，并且分离超平面能将数据集中的两类点完全正确地分开。

支持向量： 训练数据集中的样本点中与分离超平面距离最近的样本点，即满足下式的样本点：$$y_i(w\cdot x_i+b)-1=0$$其中，正例点位于超平面$$H_1:w\cdot +b=1$$反例则位于$$H_2:w\cdot +b=-1$$这两个超平面称作间隔边界，两者的距离成为间隔，间隔依赖于分离超平面的法向量$w$，等于$\frac{2}{||w||}$.决定分离超平面的只有支持向量，其它的点不起作用，所以此模型起名支持向量机，支持向量的个数一般很少，故支持向量机由很少的“重要的”训练样本确定。

学习算法

通常是应用拉格朗日对偶性，通过求对偶问题的解，进而得到上面那个原始问题的解，原因是对偶问题更容易求解，二是可以自然引入核函数，进而推广到非线性分类问题。算法如下（具体的推导免）：

线性可分支持向量机学习算法：
输入：线性可分训练集T；
输出：分离超平面和分类决策函数。
（1）构造并求解约束最优化问题（即）：
$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$$${\alpha }_i\ge 0,i=1,2,\cdots ,N$$原问题现在变成了这个问题，求解出这个问题后，便可以根据其结果${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast })$由下式得到$w^{\ast }$和$b^{\ast }$（有定理支持）。这个问题是对偶最优化问题，故可用SMO算法求解。
（2）得出：$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)$$其中$j$是在${\alpha }^{\ast }$中选择的正分量${\alpha }_j^{\ast }>0$的下标；
（3）分离超平面：$$w^{\ast }\cdot x+b^{\ast }=0$$分类决策函数：$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$