通过实例揭开支持向量机的神秘面纱

最近在学习支持向量机，看了不少资料，但是由于实例较少，总感觉理解起来比较抽象，特别是线性不可分的时候。本文通过解决“异或”的分类问题，揭开了支持向量机的神秘面纱。
本文适合具有一定svm理论基础但是有些地方理解得比较模糊的朋友进行学习交流，如果从来没接触过svm，建议先学习svm基本理论。
原创不易，如果你觉得本文对你有帮助，请点一个赞，谢谢！

支持向量机（线性）的模型及其求解

本小节参考周志华老师的《机器学习》，建议阅读相关章节。
支持向量机的思路：在已知训练样本集D={($x_1,y_1$),($x_2,y_2$),…,($x_m,y_m$)},$y_i$ $ϵ$ {-1,1},现在需要在样本空间中找到一个划分超平面，将不同类别的样本分开。在线性可分的条件下，超平面通过如下方程表示：
$$w^{T}x+b=0(1.1)$$
其中$w=(w_1;w_2;...;w_d)$，$d$表示$x$的维度。
我们的目的则是求解$w,b$，使得计算出来的结果容错率能够达到最高。为了使得容错率达到最高，需要使得两个异类支持向量到超平面的距离之和$\gamma =\frac{2}{||w||}$达到最大，最终求解目标表示为：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}{\Vert w\Vert }^2(1.2) \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m. \end{gathered}$$
为了对上述表达式高效求解，需要经过一定的数学处理，即使用拉格朗日乘子法得到其对偶问题：
$$L(w,b,\alpha )=\frac{1}{2}{\Vert w\Vert }^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))(1.3)$$
其中$\alpha =({\alpha }_1;{\alpha }_2;...{\alpha }_m)$。令$L(w,b,\alpha )$对$w$和$b$求偏导为零可得：

$$w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i(1.4)$$
$$0=\sum _{i=1}^m{\alpha }_i{y}_i$$
$\alpha$可通过如下表达式求得：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\text{xiTxj}{x}_i^T{x}_j(1.5) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,...,m \end{gathered}$$
求解出$\alpha$后，及可求出w,b，最终求得超平面方程：
$$f(x)=w^{T}x+b=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^{T}x\text{xiTx}{x}_i^{T}x+b(1.6)$$
需要注意的是上述超平面方程是一个“$标量\text{标量}标量$”,而不是矢量，比如：$x_1+x_2+1=0$

支持向量机（非线性）的模型及其求解

由于不是所有的数据都是线性可分的，对于线性不可分的数据，假设现在已知一个映射$\phi$,可以把低纬度的数据映射到高维，变得线性可分，我们只需要把上一小节中的x替换为$\phi (x)$，则经过推导，我们可以用式（1.5）变换得来的如下式子求出对应的$\alpha$：
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\phi (x_i^T)\phi (x_j)\text{φ(xiT)φ(xj)}\phi (x_i^T)\phi (x_j)(2.1) \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,...,m \end{gathered}$$
求出$\alpha$后，最终可以求得高维空间的超平面方程，如下所示：
$$f(x)=w^T\phi (x)\text{φ(x)}\phi (x)+b=\sum _{i=1}^m{\alpha }_i{y}_i\phi (x_i{)}^T\phi (x)\text{φ(xi)Tφ(x)}\phi (x_i{)}^T\phi (x)+b(2.2)$$
需要注意的是，分割面在高维空间是一个平面，而在低维空间则是曲线（面），如果不借助于例子理解，始终感觉有点抽象。下面就以“异或”问题为例子，彻底揭开它的面纱。
现在有以下四个点，图像如图所示：

通过分析可知，在二维空间内不可能用一条直线将两类数据分开。
假设现在已知有某个映射$\phi$能够把这些点从二维映射到三维（先忽略这个映射是怎么来的），使得其在三维线性可分，其表达式如下所示：
$$\phi (x)=[x_1^2,x_2^2,\sqrt{2}{x}_1{x}_2]=[z_1,z_2,z_3](2.3)$$
则根据式（2.1），求出$\alpha$的值如下所示：
$${\alpha }_1={\alpha }_2={\alpha }_3={\alpha }_4=\frac{1}{8}$$
又因为$w={\sum }_{i=1}^m{\alpha }_i{y}_i{x}_i,$可以分别求出$w_0$，且$b$也可以用相关方法求出，这里不再详细描述，结果如下所示：
$$\begin{gathered} w_0=-\frac{1}{8}\left[\begin{array}{c}1\\ 1\\ \sqrt{2}\end{array}\right]+\frac{1}{8}\left[\begin{array}{c}1\\ 1\\ -\sqrt{2}\end{array}\right]+\frac{1}{8}\left[\begin{array}{c}1\\ 1\\ -\sqrt{2}\end{array}\right]-\frac{1}{8}\left[\begin{array}{c}1\\ 1\\ \sqrt{2}\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ -\frac{\sqrt{2}}{2}\end{array}\right] \\ b=0 \end{gathered}$$
所以根据式（2.2）求解出其超平面方程如下所示：
$$\begin{gathered} {w}_0^T\phi (x)+b={\left[\begin{array}{c}0\\ 0\\ -\frac{\sqrt{2}}{2}\end{array}\right]}^T[x_1^2,x_2^2,\sqrt{2}{x}_1{x}_2]=0 \\ 即\sqrt{2}{x}_1\ast x_2=0,也就是z_3=0 \end{gathered}$$
现在我们来判断一下$z_3=0$是不是高维空间的（最佳）分类面呢，
根据式（2.3），表2.1中的四个点映射为如下四个点，其图像如图所示：

可以看出，$z_3=0$确实是映射后的高维空间的一个分割平面。但是$z_3$=$\sqrt{2}{x}_1\ast x_2$,照理说$\sqrt{2}{x}_1\ast x_2=0$应该是原空间的一个分割面才对，但是求解出的结果$x_1=0$或者$x_2=0$，表示的是原空间的两条坐标轴，仿佛并不是原空间的分割面，这是怎么回事呢？
为了一探究竟，我们改变一下思维，既然$z_3=0$是高维空间的最佳分割面，那$z_3=1$也是高维空间的一个分割面（不是最佳的），对应的$z_3$=$\sqrt{2}{x}_1\ast x_2=1$，即$x_2=\frac{1}{\sqrt{2}{x}_1}$，这不正是我们熟悉的反比例曲线吗？那这条反比例曲线是原空间的分割面（线）吗？我们作出其图像，如下图所示：

发现$x_2=\frac{1}{\sqrt{2}{x}_1}$确实是原空间的分割面，不过是“两条”反比例曲线。受上述启发，我们再来研究一下$\sqrt{2}{x}_1\ast x_2=0=z_3$,根据之前的结论，$z_3=0$是三维空间的最佳分割面，那对应的$\sqrt{2}{x}_1\ast x_2=0$是原二维空间的最佳分割面吗？
现假设有曲线$\sqrt{2}{x}_1\ast x_2=C$，$C$为常数，通过分析知道$C$越小，则反比例曲线越贴近坐标轴，那么当$C$=0的时候，则不正是与坐标轴重合了吗？我们用图像来表示上述内容：

所以说$\sqrt{2}{x}_1\ast x_2=0$也确实是原空间的最佳分割面，这原本是一个理所应该的结论，但是由于0的特殊性掩盖了映射的真实面目，通过这个例子，揭开了这层面纱。
更一般的，在高维空间中，令$z_i$为$\phi (x)$的第i个分量，比如此例中的$\phi (x)=[x_1^2,x_2^2,\sqrt{2}{x}_1{x}_2]=[z_1,z_2,z_3]=Z$
那么在高维空间中以$z_i$为自变量，得出的分割面一定是平面，其表达式为$w_0^{T}Z+b=0$；而在对应的低维空间中，则为曲面（线），其表达式为$w_0^T\phi (x)+b=0$

支持向量机（非线性）的深入理解

在上节的计算中，我们很轻松愉快的找到了高维空间的分割面$z_3=0$，但是这是在映射函数φ(x)已知的情况下，在实际应用中，我们并不知道φ(x)的具体表达式，并且即使有具体表达式，其纬度也可能非常高，导致计算量非常大，应该怎么办呢？在解决这个问题之前先把上面式（2.2）中的$\phi (x_i{)}^T\phi (x)$稍微进行一下变化：
$$\begin{gathered} \phi (x_i{)}^T\phi (x)=[x_{i1}^2,x_{i2}^2,\sqrt{2}{x}_{i1}{x}_{i2}{]}^{{}^T}[x_1^2,x_2^2,\sqrt{2}{x}_1{x}_2] \\ =x_{i1}^2{x}_1^2+x_{i2}^2{x}_2^2+2x_{i1}{x}_{i2}{x}_1{x}_2 \\ =(x_1{x}_{i1}+x_2{x}_{i2}{)}^2=(x_i^{T}x{)}^2=k(x_i^{T}x)(3.1) \end{gathered}$$
神奇的一幕发生了，这表明之前的计算除了可以用$\phi (x_i{)}^T\phi (x)$(先计算非线性映射φ，再计算它们的内积)，还可以用$(x_i^{T}x{)}^2$这种方式计算（先计算内积$x_i^{T}x$，再计算非线性映射k）
受此启发，再来看刚刚的问题，在实际应用中我们不知道映射φ的具体表达式，但是由于φ的表达式一般来说有无穷多种，使得我们可以用$k(x_i^{T}x)$去$逼近\text{逼近}逼近$$\phi (x_i{)}^T\phi (x)$，都很有可能使得逼近的结果比较理想，更一般的，用$k(x_i^T,x)$去逼近它们，来达到分类的目的，常见的核函数有如下：
$$\begin{gathered} 线性核：k(x_i,x_j)=x_i^T{x}^j \\ 多项式核：k(x_i,x_j)=(c+x_i^T{x}^j{)}^d \\ 高斯核k(x_i,x_j)=e^{{}^{-\frac{{\Vert x_i-x_j\Vert }^2}{2\sigma 2}}} \end{gathered}$$
事实上，式（3.1）中的核即为$c=0,d=2$的多项式核。

总结与注意事项

1.支持向量机的功能是分类，在给定数据集及标签的条件下，通过求解中间参数$\alpha$，最终求出$w$,$b$,得到分割面方程。
2.如果在原空间线性不可分并且在已知映射$\phi$的情况下，可以先把数据从低位映射到高维，然后再用线性可分的求解方法去求解高维空间的分割平面，并且该分割平面在原低维空间对应的是分割曲面（线）。
3.在实际情况中，上一条涉及的$\phi$很难求解出来，并且维度可能非常高，所以用$k(x_i^T,x)$去逼近$\phi (x_i{)}^T\phi (x)$，通过调节参数，往往也能得到理想的结果。
4.支持向量机（非线性）的深入理解这一小节虽然简单并且没有做到图文并茂，但是我认为很重要
5.有些细节和错误还需要完善，由于时间关系，以后再处理

参考资料

周志华 《机器学习》第六章
https://blog.csdn.net/hugolyl/article/details/52210784
https://wenku.baidu.com/view/90a8dd27ba0d4a7303763a12