支持向量机

简介

支持向量机是一种二分类模型，其基本模型是定义在特征空间上的间隔最大化的线性分类器。它的学习算法是求解凸二次规划的最优化算法。

线性可分支持向量机与硬间隔最大化

上面的图是一组典型的二分类模型，使用一条直线将两个线性可分的类分开，这样的直线可以有无数条，但是使间隔最大的只有一条。支持向量机寻找的就是这一条直线。
首先定义间隔：
给定一个特征空间上的训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T = \left\{ {\left( {{x_1},{y_1}} \right),\left( {{x_2},{y_2}} \right), \cdots ,({x_N},{y_N})} \right\} T={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}其中$y_i$的值为±1，这个数据集是一个二类线性可分得数据集。
对于一个给定的数据集和超平面$\left(\omega ,b\right)$，其函数间隔为$$\hat{\gamma }=\underset{i=1,\cdots ,N}{\min }{y}_i\left(\omega x_i+b\right)$$对其中$\omega$规范化，$\Vert \omega \Vert =1$，这时得到我们需要的几何间隔。$$\gamma =\underset{i=1,\cdots ,N}{\min }{y}_i\left(\frac{\omega }{\Vert \omega \Vert }\cdot x_i+\frac{b}{\Vert \omega \Vert }\right)$$

间隔最大化

支持向量机学习就是求解一个间隔最大的分离面，这可以表示为以下的一个规划问题
$$\underset{\omega ,b}{\max }\gamma$$$$s.t.y_i\left(\frac{\omega }{\Vert \omega \Vert }\cdot x_i+\frac{b}{\Vert \omega \Vert }\right)\ge \gamma ,i=1,\cdots ,N$$即希望最大化超平面$\left(\omega ,b\right)$关于训练集的几何间隔，约束条件表示为超平面$\left(\omega ,b\right)$关于每个训练样本点的几何间隔至少是$\gamma$。
又因为函数间隔跟几何间隔有如下关系：$$\gamma =\frac{\hat{\gamma }}{\Vert \omega \Vert }$$所以上述规划问题可以写成如下形式$$\underset{\omega ,b}{\max }\frac{\hat{\gamma }}{\Vert \omega \Vert }$$$$s.t.y_i\left(\omega \cdot x_i+b\right)\ge \hat{\gamma },i=1,\cdots ,N$$函数间隔的取值不影响优化问题的解，假设$\omega$和$b$按比例改变为$\lambda \omega$和$\lambda b$，函数间隔变为$\lambda \hat{\gamma }$，而函数间隔这一改变对优化问的没有任何影响，所以我们取$\hat{\gamma }=1$。最大化$\frac{1}{\Vert \omega \Vert }$和最小化$\frac{1}{2}{\Vert \omega \Vert }^2$是等价的，于是就得到了线性可分支持向量机学习的最优化模型$$\underset{\omega ,b}{\min }\frac{1}{2}{\Vert \omega \Vert }^2$$$$s.t.y_i\left(\omega \cdot x_i+b\right)-1\ge 0,i=1,\cdots ,N$$

对偶问题

上述的最优化问题是一个凸二次规划问题，可以将它作为原始问题，利用拉格朗日对偶性，通过求解对偶问题的解得到原始问题的解。
首先构造拉格朗日函数，为每个不等式约束引入拉格朗日乘子${\alpha }_i\ge 0,i=1,\cdots ,N$，定义拉格朗日函数：$$L\left(\omega ,b,\alpha \right)=\frac{1}{2}{\Vert \omega \Vert }^2-\sum _{i=1}^N{\alpha }_i{y}_i\left(\omega \cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i$$为了得到对偶问题的解，需要先求$L\left(\omega ,b,\alpha \right)$对$\omega ,b$的极小，再求对$\alpha$的极大。

求$\underset{\omega ,b}{\min }L\left(\omega ,b,\alpha \right)$

将拉格朗日函数$L\left(\omega ,b,\alpha \right)$分别对$\omega ,b$求偏导并令其等于0$${\nabla }_{\omega }L\left(\omega ,b,\alpha \right)=\omega -\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$$${\nabla }_{b}L\left(\omega ,b,\alpha \right)=\sum _{i=1}^N{\alpha }_i{y}_i=0$$得
$$\omega =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$代入拉格朗日函数，得$$\underset{\omega ,b}{\min }L\left(\omega ,b,\alpha \right)=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i$$

求$\underset{\omega ,b}{\min }L\left(\omega ,b,\alpha \right)$对$\alpha$的极大

求$\underset{\omega ,b}{\min }L\left(\omega ,b,\alpha \right)$的极大可以转化为求$-\underset{\omega ,b}{\min }L\left(\omega ,b,\alpha \right)$的极小，可以得到下面这个对偶最优化问题：$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i$$$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,\cdots ,N$$当我们求得该问题的最优解${\alpha }^{\ast }={\left({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast }\right)}^T$后，就能求得原始问题的解${\omega }^{\ast },b^{\ast }$$${\omega }^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(x_i\cdot x_j\right)$$这样我们就能求得最终的分离超平面及分类决策函数了，$${\omega }^{\ast }\cdot x+b^{\ast }=0$$$$f(x)=sign\left({\omega }^{\ast }\cdot x+b^{\ast }\right)$$

支持向量

在线性可分的支持向量机中，由原始问题解的公式可以看出，${\omega }^{\ast }$和$b^{\ast }$只依赖与训练数据中对应于${\alpha }_i^{\ast }>0$的样本点$\left(x_i,y_i\right)$，而其他样本对${\omega }^{\ast }$和$b^{\ast }$没有影响，而这样的点正好处于间隔边界上。我们管这种点叫支持向量。

线性支持向量机与软间隔最大化

通常情况下数据不是严格的线性可分，会有一些特异点。如下这种情况

由于这些特异点的影响，原来模型所求的分离超平面达不到最佳的分离效果。所以我们为每个样本点$\left(x_i,y_i\right)$引入一个松弛变量${\xi }_i\ge 0$，使函数间隔加上松弛变量大于等于1，这样原始问题就变为：$$\underset{\omega ,b,\xi }{\min }\frac{1}{2}{\Vert \omega \Vert }^2+C\sum _{i=1}^N{\xi }_i$$$$s.t.y_i\left(\omega \cdot x_i+b\right)\ge 1-{\xi }_i,i=1,\cdots ,N$$$${\xi }_i\ge 0,i=1,\cdots ,N$$其对偶问题为：$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i$$$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$$$0\le {\alpha }_i\le C,i=1,\cdots ,N$$其解与硬间隔最大化的解一样。

支持向量

把训练集中对应于${\alpha }_i^{\ast }>0$的样本点$\left(x_i,y_i\right)$的实例$x_i$称为支持向量。若${\alpha }_i^{\ast }<C$,则${\xi }_i=0$，支持向量$x_i$落在间隔边界上，若${\alpha }_i^{\ast }=C$，$0<{\xi }_i<1$，则分类正确，$x_i$在间隔边界与分离超平面之间；若${\alpha }_i^{\ast }=C$，${\xi }_i=1$，则$x_i$在分离超平面上；若${\alpha }_i^{\ast }=C$，${\xi }_i>1$,则$x_i$位于分离超平面误分一侧。

非线性支持向量机与核函数

在线性支持向量机的对偶问题中，无论是目标函数还是决策函数都只涉及到输入实例与输入实例之间的点积，因此我们可以用核函数$K(x_i,x_j)=\varphi (x_i)\cdot \varphi (x_j)$来代替内积$\left(x_i\cdot x_j\right)$。这样就可以把在原空间中非线性可分得数据集映射到一个特征空间（数据集在这个空间是线性可分得），从而在特征空间中使用线性可分支持向量机完成非线性可分数据集的分类。

常用的核函数

线性核：$$K(x_i,x_j)=x_i\cdot x_j$$
多项式核：
$$K(x_i,x_j)={\left(x_i\cdot x_j+1\right)}^p$$
高斯核（径向基核）：$$K(x_i,x_j)=\exp \left(-\frac{{\Vert x_i-x_j\Vert }^2}{2{\sigma }^2}\right)$$

序列最小最优化算法（SMO）

smo算法可以快速求解凸二次规划问题，其基本思路是：如果所有变量的解都满足最优化问题的KKT条件，那么问题就得到了解决。否则，选两个变量，固定其他变量，针对这两个变量构建二次规划问题求解。如此反复，直到所有变量的解满足KKT条件。选择子问题变量的时候，第一个变量是违反KKT条件最严重的一个，另一个由约束条件自动确定。

参考自《统计学习方法》李航