深入理解支持向量机

从感知机说起

感知机（Perceptron）是一种简单的线性二类分类模型，同时也是神经网络和支持向量机的基础。感知机学习的目标是得到一个能将实例划分为正负两类的分离超平面。它的分类决策函数定义如下：
$$f(\mathbf{x})=sign(\mathbf{w}\mathbf{x}+b)$$

其中$\mathbf{x}$为输入数据的特征向量，$\mathbf{w}$和$b$为模型参数，$sign(x)$为指示函数，当$x>=0$时取1，$x<0$取-1。那么 $\mathbf{w}\mathbf{x}+b=0$ 就是我们要找的超平面，下一步就是确定这个超平面的参数。我们的目标可以再细化一下，也就是让误分类的点到超平面的距离越小越好，等价于下面公式：
$$L(\mathbf{w},b)=-\frac{1}{||\mathbf{w}||}\sum _{{\mathbf{x}}_i\in M}{y}_i(\mathbf{w}{\mathbf{x}}_i+b)$$
其中集合$M$为所有的误分类点集合。损失函数非负，当所有的输入数据都被正确分类的话，那么损失函数为0。常数项$\frac{1}{||\mathbf{w}||}$不影响最优解的自变量，那么就可以得到感知机的损失函数：
$$mi{n}_{\mathbf{w},b}L(\mathbf{w},b)=-\sum _{{\mathbf{x}}_i\in M}{y}_i(\mathbf{w}{\mathbf{x}}_i+b)$$
参数的学习采用梯度下降来学习, 损失函数分别对w和b求偏导数得到梯度：
$${\nabla }_{\mathbf{w}}L(\mathbf{w},b)=-\sum _{{\mathbf{x}}_i\in M}{y}_i{\mathbf{x}}_i$$
$${\nabla }_{b}L(\mathbf{w},b)=-\sum _{{\mathbf{x}}_i\in M}{y}_i$$
然后更新w和b：
$$\mathbf{w}:=\mathbf{w}+\eta {\nabla }_{\mathbf{w}}L(\mathbf{w},b)$$
$$b:=b+\eta {\nabla }_{b}L(\mathbf{w},b)$$
其中$\eta$为学习率。通过不过迭代使得损失函数最小，最后得到的w和b就是符合要求的参数。
需要注意的是，感知机得到的超平面不是唯一，采用不同的初值会有不同的误分类点从而得到不同的超平面。图一中可以画出无数个超平面使得正负样本分离。

三大核心

和感知机类似，支持向量机（Support vector machine）的目标也是要学得一个能让正负实例分离的超平面；不同的是，支持向量机学到的超平面还需要保证正负实例几何间隔最大化。间隔最大化的直观理解是不仅要让正负实例分开，而且离超平面最近的点也需要有足够大的确信度分开。针对输入数据是否线性可分，可以将支持向量机分为线性和非线性两大类。

支持向量

那么现在来一点一点地分析上面的要求。和感知机类似，我们最终也是要学一个超平面，用$\mathbf{w}\mathbf{x}+b=0$表示。那么点${\mathbf{x}}_i$到超平面的几何间隔可以表示为：
$${\gamma }_i=\frac{y_i(\mathbf{w}{\mathbf{x}}_i+b)}{||\mathbf{w}||}$$
假设所有样本点到超平面的最短距离为：
$$\gamma =\underset{i=1,2,3...,N}{\min }{\gamma }_i$$
那么要想几何间隔最大化即只要满足离超平面最近的点间隔最大即可：
$$\underset{\mathbf{w},b}{\max }\gamma$$
$$s.t.\frac{y_i(\mathbf{w}{\mathbf{x}}_i+b)}{||\mathbf{w}||}\ge \gamma$$
这句话很拗口，这样我们慢慢分析。前面提到了感知机的损失函数是让误分类点到超平面的距离越近越好，也就是说离超平面远的点都是明确被分类的点，只有那些“立场不稳”的点才会在超平面附近，也就说它们很有可能被分类错。那从这角度讲，我们只需要关心那些离平面最近的点即可，只要它们被正确分类，那所有点都被正确分类。 这也就是找到最短距离点的意义。那么为什么要满足几何间隔最大化？很简单，只要所有点到这个平面的距离都不小于这个最小距离，那么所有的点不被正确分类了吗？
其实到这里我们也可以想到，这是严格的能完全的分类，也就是硬间隔最大化。

不等式两边同时除以$\gamma$,且转换$\mathbf{w},b$：$\mathbf{w}:=\frac{\mathbf{w}}{||\mathbf{w}||\gamma }$，$b:=\frac{b}{||\mathbf{w}||\gamma }$，可以得到一个更加简洁的表达：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2$$
$$y_i(\mathbf{w}{\mathbf{x}}_i+b)\ge 1$$
考虑到$\gamma$是个常数，因此，最大化目标函数变成最大化$\frac{1}{||\mathbf{w}||}$，同时也等价于$\frac{1}{2}||\mathbf{w}|{|}^2$。这里1/2是为了求导方便。假设求得的最优值为${\mathbf{w}}^{\ast },b^{\ast }$，则最终的最优超平面为${\mathbf{w}}^{\ast }\mathbf{x}+b^{\ast }=0$，分类决策函数为$f(x)=sign({\mathbf{w}}^{\ast }\mathbf{x}+b^{\ast })$。距离分割平面最近的点也就是支持向量：

很显然，只有支持向量才能决定超平面的位置，那么训练的时候大部分样本不影响超平面的位置。

KKT条件

那么如何去优化得到最终的参数呢？上式是一个不等式约束的凸二次优化问题，这里采用拉格朗日乘法得到：
$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{i=1}^N{\alpha }_i\left(y_i\left(\mathbf{w}\cdot {\mathbf{x}}_i+b\right)-1\right)$$
其中${\alpha }_i$为乘法算子。问题求解即是求${\min }_{w,b}{\max }_{\alpha }L(w,b,\alpha )$。但是直接求该问题有要面临先满足不等式约束，比较复杂。因此将该问题转换成求对偶问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
分别对两个参数求偏导数得到：
$$\begin{array}{c}\mathbf{w}={\sum }_{i=1}^N{\alpha }_i{y}_i{x}_i\\ {\sum }_{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
代入到$L(\mathbf{w},b,\mathbf{\alpha })$得到
$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^N{\alpha }_i$$
同时不等式满足下面的KKT条件：
$$\{\begin{array}{l}{\alpha }_i\ge 0\\ y_i\left({\mathbf{w}}_i\cdot {\mathbf{x}}_i+b\right)-1\ge 0\\ {\alpha }_i\left(y_i\left({\mathbf{w}}_i\cdot {\mathbf{x}}_i+b\right)-1\right)=0\end{array}$$
KKT条件表明，要么${\alpha }_i=0$即该点，要么$y_i({\mathbf{w}}_i\cdot {\mathbf{x}}_i+b)=1$也就是该点出现在位于最大间隔上，即该点为支持向量。然后我们再把原问题换回来，得到下面的最优化问题：
$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j\left({\mathbf{x}}_i\top {\mathbf{x}}_j\right)-\sum _{i=1}^N{\alpha }_i\\ & \text{s.t.}\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,\dots ,N\end{array}$$
一般使用SMO算法求解上述公式的参数${\alpha }_i$。基本思路是先固定${\alpha }_i$之外的参数，然后求${\alpha }_i$的极值。之后可以得到超平面的参数：
$$\begin{array}{l}{\mathbf{w}}^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{\mathbf{x}}_i\\ b^{\ast }=y_j-{\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i\left({\mathbf{x}}_i\cdot {\mathbf{x}}_j\right)\end{array}$$

上面我们谈到的间隔最大是硬间隔最大，但是实际情况下几乎不存在完全线性可分的数据。因此，引入了“软间隔”的概念，即允许某些点不满足约束。引入软间隔之后，支持向量机的损失函数就是hinge loss。软间隔下确定超平面的求解流程和硬间隔的类似，这里不做赘述。

核方法

当训练样本线性不可分，也就是我们无法找到一个超平面使得样本正确分类，那我们就需要将样本从原始空间映射到其它的高维空间。比如二维空间的异或问题无法找到一个平面使得它们正确分类，但是如果能映射到三维空间，那么总能找到一个有效的超平面：

这里的$\varphi (x)$即为映射函数。因此要想用线性分类方法求得非线性分类的问题分成两个步骤：

1、找到一个非线性变换将原空间的数据映射到新的空间；
2、在新的空间使用线性分类学习方法从线性分类数据中学习分类模型。

这样的技巧又叫核方法。在目标函数中与输入空间相关的公式是：${\mathbf{x}}_i^{\top }{\mathbf{x}}_j$，那么使用映射函数转换得到：$\varphi ({\mathbf{x}}_i{)}^{\top }\varphi ({\mathbf{x}}_j)$.这样看映射函数比较难以显式确定，基于此，我们考虑得到定义$\varphi ({\mathbf{x}}_i{)}^{\top }\varphi ({\mathbf{x}}_j)$即：
$$K(x,z)=<\varphi (x),\varphi (z)>=\varphi ({\mathbf{x}}_i{)}^{\top }\varphi ({\mathbf{x}}_j)$$,
这样问题就转换成求核函数$K(x,z)$。那么核函数是否就一定存在？哪些核函数符合要求呢？
一般来讲，只要一个函数所对应的核矩阵半正定，它就能作为核函数使用。因此，对于一个线性不可分的数据集而言，我们不知道什么核函数是合适且核函数也只是隐式定义了将样本数据映射到的特征空间。常用的核函数有：
高斯核函数：
$$K({\mathbf{x}}_i,{\mathbf{x}}_j)=exp(-\frac{||{\mathbf{x}}_i-{\mathbf{x}}_j|{|}^2}{2{\sigma }^2})$$.

总结

支持向量机是一种常用的判别模型，根据数据实例是否线性可分分为线性SVM和非线性SVM。大多数样本点并不能对SVM最后求得的超平面产生影响，只有支持向量影响最终的超平面。SVM采用的loss一般是hinge loss。

Preference

1.统计学习方法，李航
2.机器学习，周志华
3.https://zhuanlan.zhihu.com/p/31886934