支持向量机(SVM)----超详细原理分析讲解

支持向量机(SVM)

支持向量机(Support Vector Machine)，是机器学习中最流行、最强大的算法模型，没有之一。

但是其背后的模型思想、数学原理较为晦涩难懂，所以本篇文章尽量使用通俗的语言讲解支持向量机的运行原理与数学推导。

直观的本质理解

我们都知道，支持向量机(SVM)大部分的应用场景均为分类问题，即如何有效地分开两种不同的类别。

首先，我们来分析下图，其中绿色、黄色分别为不同类别的数据点，如何画一条直线能够分开这两类数据呢? 假如再添加新的数据点，该直线是否还可以正确地划分呢?

可以有以下的三种画法,都可以正确区分这两类数据点，当有新数据继续加入时，我们该选择哪种画法呢?

假如我们选择直线1区分两种类别数据，可能会出现以下这种情况:

其中新添加的点的真实类别为黄色,但是根据直线1的划分方式预测新添加点类别为绿色，这样就会造成预测错误，所以以直线1的方式切分是不合理的。

同理，采用直线3的划分方式也是不科学的。故我们选用直线2的划分方式。

这类问题也可以推广到3维空间，甚至是高维空间, 如下图3维空间中我们采用以下划分方式

这类问题的本质就是在一个n维的数据样本中，我们该如何设计一个最优化的n-1维超平面($W_1{X}_1+W_2{X}_2+...+W_n{X}_n+B=0$)去划分不同类别的数据。

之后预测样本数据时，通过符号函数 $sign(W_1{X}_1+W_2{X}_2+...+W_n{X}_n+B)$对样本数据进行分类。

几个基础概念

首先来说明一些概念，这样可能更有利于逐渐理解模型的工作原理。

决策超平面

决策超平面(Decision Hyperplane)，如上图，就是用来区分不同类别数据的超平面(在2维数据中即为直线)。

正超平面

满足($W_1{X}_1+W_2{X}_2+...+W_n{X}_n+B>=1$)所有点位于正超平面， 在该超平面内的数据点所属类别均为一个类别。

负超平面

满足($W_1{X}_1+W_2{X}_2+...+W_n{X}_n+B<=-1$)所有点位于负超平面， 在该超平面内的数据点所属类别均为另一类别。

决策边界

在具有两个类的统计分类问题中，决策边界(Decision Boundary)或决策表面是超曲面，其将基础向量空间划分为两个集合，一个集合。 分类器(SVM) 将决策边界一侧的所有点分类为属于一个类，而将另一侧的所有点分类为属于另一个类。(百度百科)

支持向量

支持向量(Support Vector)是位于决策边界上的样本数据点，决定间隔距离，其距离超平面最近。

在支持向量机中，距离超平面最近的且满足一定条件的几个训练样本点被称为支持向量。

硬间隔

硬间隔(Hard Margin)，即两个决策边界之间的距离，本质上求解的最优超平面就是寻找一个具备 最大硬间隔(Max Hard Margin) 的问题。

硬间隔不允许出现异常的点，即不允许出现落在决策边界与决策超平面之内的点，通常来讲这种情况是理想状态下的，与之相对的是软间隔。

软间隔

软间隔(Soft Margin)，具备一定的容错率，能够允许数据样本中异常值的出现，它试图在间隔距离和错误大小之间寻找一个平衡。

可以把硬间隔想象为收入，异常数据(损失loss)想象为成本，那么软间隔就为 收入 - 成本 = 利润，它试图寻找最大利润值，即最大软间隔(Max Soft Margin)。

决策超平面的求解(SVM模型的推导)

由以上可知，SVM的核心问题就是寻找最优超平面问题，也即寻找决策边界的最大间隔问题。

求解 硬间隔(Hard Margin) 下的决策超平面(软间隔类似)后，决策超平面($W_1{X}_1+W_2{X}_2+...+W_n{X}_n+B=0$)便可以利用符号函数对样本进行预测分类。

最大硬间隔的寻找与公式构建

首先，我们先选取两个支持向量$x_n,x_m$，分别代表两个不同的类别，如下图

因为该两点均在决策边界上，故必定满足以下方程式

$$\{\begin{array}{l}{w}_1{x}_{1m}+w_2{x}_{2m}+b=1(1)\\ w_1{x}_{1n}+w_2{x}_{2n}+b=-1(2)\end{array}$$

将等式(1) - 等式(2)，可得等式(3)如下

$$w_1{x}_{1m}-w_1{x}_{1n}+w_2{x}_{2m}-w_2{x}_{2n}=2$$

$$(w_1{x}_{1m}+w_2{x}_{2m})-(w_1{x}_{1n}+w_2{x}_{2n})=2$$

转化为向量乘积形式(点积公式)，即可得公式(3)

$$\vec{w}\cdot \overrightarrow{x_m}-\vec{w}\cdot \overrightarrow{x_n}=\vec{w}\cdot (\overrightarrow{x_m}-\overrightarrow{x_n})=2(3)$$

将其可视化表示，即为

我们再次选择两个点 $x_p，x_o$，如下图

其中 $x_p,x_o$均在决策超平面上，故必满足以下等式

$$\{\begin{array}{l}{w}_1{x}_{1p}+w_2{x}_{2p}+b=0(4)\\ w_1{x}_{1o}+w_2{x}_{2o}+b=0(5)\end{array}$$

再另公式(4) - 公式(5)，可得公式(6)如下

$$w_1{x}_{1p}-w_1{x}_{1o}+w_2{x}_{2p}-w_2{x}_{2o}=0$$

$$(w_1{x}_{1p}+w_2{x}_{2p})-(w_1{x}_{1o}+w_2{x}_{2o})=0$$

转化为向量乘积形式(点积公式)，即可得公式(6)

$$\vec{w}\cdot \overrightarrow{x_p}-\vec{w}\cdot \overrightarrow{x_o}=\vec{w}\cdot (\overrightarrow{x_p}-\overrightarrow{x_o})=0(6)$$

把该公式可视化表现出来，即为

由公式(6)可知，向量$\vec{w}$与向量$\overrightarrow{x_o}-\overrightarrow{x_p}$的内积为0，由向量的内积定理可知，内积为0，两向量垂直。

又因为向量$\overrightarrow{x_o}、\overrightarrow{x_p}$在决策超平面上，故向量$\vec{w}$垂直于决策超平面。

我们把公式(3)和公式(6)的向量运算进行可视化，如下

由公式(6)可知，向量$\vec{w}$垂直于决策超平面，故设最大间隔距离为 L, 则 L = $||\overrightarrow{x_m}-\overrightarrow{x_n}||\ast \cos \theta$，则此时 L 即为最大间隔。

又因为公式(3)为$\vec{w}\cdot (\overrightarrow{x_m}-\overrightarrow{x_n})=2$，即为$||\vec{w}||\ast \cos \theta \ast ||\overrightarrow{x_m}-\overrightarrow{x_n}||$ = 2，即 $\cos \theta \ast ||\overrightarrow{x_m}-\overrightarrow{x_n}||=\frac{2}{||\vec{w}||}$。

综上，可以得到 最大间隔距离为

$$L=\frac{2}{||\vec{w}||}$$

不妨转化一下思路，求 $\max L=\frac{2}{||\vec{w}||}$，即为求

$$\min ||\vec{w}||$$

再来看约束条件，又因为所有正超平面上的数据点均满足$W_1{X}_1+W_2{X}_2+...+W_n{X}_n+B>=1$，且对应的类别 $Y_i=1$

所有负超平面上的数据点均满足$W_1{X}_1+W_2{X}_2+...+W_n{X}_n+B<=-1$，且对应的类别 $Y_i=-1$

所以简化的约束表达式为

$$y_i\ast (\vec{w}\cdot \vec{x}+b)>=1$$

所以现在我们的终极目标出现了！就是求约束条件下的最小值$||\vec{w}||$问题，即求

$$\{\begin{array}{l}\min ||\vec{w}||\\ y_i\ast (\vec{w}\cdot \vec{x}+b)>=1,其中i=1,2,...,S(S为全部样本数)\end{array}$$

拉格朗日乘数法的应用

我们把这个极值问题进行稍微变换下，其中 $||\vec{w}||=\sqrt{w_1^2+w_2^2}$，可以对其先平方再除2，并不影响最小值的求解，此时问题可变化为

$$\{\begin{array}{l}\min \frac{||\vec{w}|{|}^2}{2}\\ y_i\ast (\vec{w}\cdot \vec{x}+b)>=1,其中i=1,2,...,S(S为全部样本数)\end{array}$$

再对该条件进行进一步转化

$$\{\begin{array}{l}\min \frac{||\vec{w}|{|}^2}{2}\\ y_i\ast (\vec{w}\cdot \vec{x}+b)-1>=0,其中i=1,2,...,S(S为全部样本数)\end{array}$$

设定 $p_i^2$ >= 0，将约束的不等式转化为等式约束条件，从而使用拉格朗日乘子法求解极值。

此时在约束条件下的极值问题转化为

$$\{\begin{array}{l}\min \frac{||\vec{w}|{|}^2}{2}\\ y_i\ast (\vec{w}\cdot \vec{x}+b)-1=p_i^2,其中i=1,2,...,S(S为全部样本数)\end{array}$$

此时就可以应用拉格朗日乘数法了，先构建拉格朗日乘数法公式如下：

$$L(w,b,{\lambda }_i,p_i^2)=\frac{||\vec{w}|{|}^2}{2}-\sum _{i=1}^s{\lambda }_i\ast (y_i\ast (\vec{w}\cdot \vec{x}+b)-1-p_i^2)$$

为了求拉格朗日方程式的极值，我们对 w、b、${\lambda }_i、p_i$求偏导并令其为0，可得

$(1)\frac{\delta L}{\delta w}=\vec{w}-\sum _{i=1}^s{\lambda }_i\ast y_i\cdot \vec{x}=0$

$(2)\frac{\delta L}{\delta b}=-\sum _{i=1}^s{\lambda }_i\ast y_i=0$

$(3)\frac{\delta L}{\delta {\lambda }_i}=-(y_i\ast (\vec{w}\cdot \vec{x}+b)-1-p_i^2)=(y_i\ast (\vec{w}\cdot \vec{x}+b)-1-p_i^2)=0$

$(4)\frac{\delta L}{\delta p_i}=-2p_i{\lambda }_i=0$

公式(4)也可以转化为 ${\lambda }_i{p}_i^2=0$,

将公式(3)代入到公式(4)后可得，${\lambda }_i\ast (y_i\ast (\vec{w}\cdot \vec{x}+b)-1)=0$

由于$y_i\ast (\vec{w}\cdot \vec{x}+b)-1>=0$，我们便有了以下的猜想:

• 当 ${\lambda }_i=0$时，$y_i\ast (\vec{w}\cdot \vec{x}+b)-1>=0$明显成立。
• 当 ${\lambda }_i\ne 0$时，$y_i\ast (\vec{w}\cdot \vec{x}+b)-1=0$明显成立。
• 当 ${\lambda }_i<0$时，且 $y_i\ast (\vec{w}\cdot \vec{x}+b)-1<0$不满足约束条件时，则$\sum _{i=1}^s{\lambda }_i\ast (y_i\ast (\vec{w}\cdot \vec{x}+b)-1-p_i^2)>0$，
  $L(w,b,{\lambda }_i,p_i^2)=\frac{||\vec{w}|{|}^2}{2}-\sum _{i=1}^s{\lambda }_i\ast (y_i\ast (\vec{w}\cdot \vec{x}+b)-1-p_i^2)$会变得更小，这等同于变相鼓励违反约束去获得更小值，这显然是不符合常理的

所以只能 ${\lambda }_i>=0$成立，那么最后我们已经得到了5个条件，也就是KKT条件(不懂可以戳这里)，如下

$(1)\vec{w}-\sum _{i=1}^s{\lambda }_i{y}_i\cdot \vec{x}=0$

$(2)-\sum _{i=1}^s{\lambda }_i{y}_i=0$

$(3)y_i\ast (\vec{w}\cdot \vec{x}+b)-1>=0$

$(4){\lambda }_i(y_i\ast (\vec{w}\cdot \vec{x}+b)-1)=0$

$(5){\lambda }_i>=0$

基于KKT条件，我们就可以求解最终的决策超平面了，不过在SVM模型中，为了更方便地使用核技巧 Kernel Trick，我们通常使用原问题的对偶问题来进行求解。

因为该极值问题满足 KKT条件，故属于强对偶问题(充要条件)，可直接使用对偶问题解决。

使用对偶问题求解

我们再次回到最初构建的极值问题表达式中

$$\{\begin{array}{l}\min \frac{||\vec{w}|{|}^2}{2}\\ y_i\ast (\vec{w}\cdot \vec{x}+b)-1>=0,其中i=1,2,...,S(S为全部样本数)\end{array}$$

它的对偶问题为(这里现在我也不是很清楚呜呜呜，需要的数学功底太深厚了呜呜呜，慢慢搞懂了会补上来，有兴趣的小伙伴可自行百度)

$$max(q({\lambda }_i))=max(min(\frac{||\vec{w}|{|}^2}{2}-\sum _{i=1}^s{\lambda }_i\ast (y_i\ast (\vec{w}\cdot \overrightarrow{x_i}+b)-1))),{\lambda }_i>=0,i=1,2,...,s$$

代入我们已经求得的 KKT 条件，进行简化(此处用到了公式(1、2))

$$max(q({\lambda }_i))=max(min(\frac{||\vec{w}|{|}^2}{2}-\sum _{i=1}^s{\lambda }_i\ast (y_i\ast (\vec{w}\cdot \overrightarrow{x_i}+b)-1)))$$

$$=max(min(\frac{\sum _{i=1}^s{\lambda }_i{y}_i\cdot \overrightarrow{x_i}\ast \sum _{j=1}^s{\lambda }_j{y}_j\cdot \overrightarrow{x_j}}{2}-\sum _{i=1}^s{\lambda }_i\ast y_i\ast (\vec{w}\cdot \overrightarrow{x_i})+\sum _{i=1}^s{\lambda }_i))$$

$$=max(\frac{\sum _{i=1}^s{\lambda }_i{y}_i\cdot \overrightarrow{x_i}\ast \sum _{j=1}^s{\lambda }_j{y}_j\cdot \overrightarrow{x_j}}{2}-\sum _{i=1}^s{\lambda }_i\ast y_i\ast (\sum _{j=1}^s{\lambda }_j{y}_j\cdot \overrightarrow{x_j}\cdot \overrightarrow{x_i})+\sum _{i=1}^s{\lambda }_i)$$

$$=max(-\frac{\sum _{i=1}^s{\lambda }_i{y}_i\cdot \overrightarrow{x_i}\ast \sum _{j=1}^s{\lambda }_j{y}_j\cdot \overrightarrow{x_j}}{2}+\sum _{i=1}^s{\lambda }_i)$$

$$=max(-\frac{\sum _{i=1}^s\sum _{j=1}^s{\lambda }_i{\lambda }_j{y}_i{y}_j\ast \overrightarrow{x_i}\cdot \overrightarrow{x_j}}{2}+\sum _{i=1}^s{\lambda }_i)$$

以上之所以能够去除 min 最小值符号，是因为已经将拉格朗日乘数法求出的极小值时的参数结果代入，该值即为最小值。

最后我们又得到了一个极大值问题，其中它也具备以下约束条件

$$\sum _{i=1}^s{\lambda }_i{y}_i=0,KKT公式(2)$$

$${\lambda }_i>=0,KKT公式(5)$$

为了符合常理，我们把最终的 $\lambda$ 最大值问题转化为最小值问题，即

$$max(q(\lambda ))=max(-\frac{\sum _{i=1}^s\sum _{j=1}^s{\lambda }_i{\lambda }_j{y}_i{y}_j\ast \overrightarrow{x_i}\cdot \overrightarrow{x_j}}{2}+\sum _{i=1}^s{\lambda }_i)=min(\frac{\sum _{i=1}^s\sum _{j=1}^s{\lambda }_i{\lambda }_j{y}_i{y}_j\ast \overrightarrow{x_i}\cdot \overrightarrow{x_j}}{2}-\sum _{i=1}^s{\lambda }_i)$$

即我们终于得到最终的约束条件极值问题：

$$\{\begin{array}{l}q({\lambda }_i)=min(\frac{\sum _{i=1}^s\sum _{j=1}^s{\lambda }_i{\lambda }_j{y}_i{y}_j\ast \overrightarrow{x_i}\cdot \overrightarrow{x_j}}{2}-\sum _{i=1}^s{\lambda }_i),\\ \sum _{i=1}^s{\lambda }_i{y}_i=0,\\ {\lambda }_i>=0,i=1,2,...,s\end{array}$$

使用拉格朗日乘数法解出 ${\lambda }_i$，再根据 KKT(公式1) 解出 $\vec{w}$，再根据决策超平面 $y_i\ast (\vec{w}\cdot \overrightarrow{x_i}+b)-1=0$求出b，如下

$$\vec{w}=\sum _{i=1}^s{\lambda }_i{y}_i\cdot \overrightarrow{x_i}$$

$$b=\frac{1}{y_i}-\vec{w}\cdot \overrightarrow{x_i}$$

即可构建决策超平面

$$\vec{w}\cdot \vec{x}+b=0$$

并获得分类决策函数

$$f(x_i)=sign(\vec{w}\cdot \vec{x}+b)$$

一个小例子(求解决策超平面与决策函数)

前面推导了这么多公式原理，可能有些小伙伴依然没有能够理解，包括我自己也是晕晕乎乎的，还需再三再四地看可能才能记住。

现在我们以一个小栗子作为结尾，希望能对大家有所帮助。

---

现在有3个数据点分别为 $X_1(1,1),X_2(3,2),X_3(2,4)$ ，他们的实际分类为 $y_1=1,y_2=1,y_3=-1$，请你使用 支持向量机算法(SVM) 求出决策超平面 $\vec{w}\cdot \vec{x}+b=0$ (此处为直线)，并预测数据点$X(2,1)$的值。

答:

我们先将所有数据样本 $X_1,X_2,X_3，y_1,y_2,y_3$代入最终的支持向量机极值公式$q({\lambda }_i)=min(\frac{\sum _{i=1}^s\sum _{j=1}^s{\lambda }_i{\lambda }_j{y}_i{y}_j\ast \overrightarrow{x_i}\cdot \overrightarrow{x_j}}{2}-\sum _{i=1}^s{\lambda }_i)$，得

$$\begin{array}{r}q({\lambda }_1,{\lambda }_2,{\lambda }_3)=\frac{1}{2}({\lambda }_1^2\ast 1\ast 2+{\lambda }_1{\lambda }_2\ast 1\ast 5+{\lambda }_1{\lambda }_3\ast (-1)\ast 6+{\lambda }_2{\lambda }_1\ast 1\ast 5+{\lambda }_2^2\ast 1\ast 13+{\lambda }_2{\lambda }_3\ast (-1)\ast 14\\ +{\lambda }_3{\lambda }_1\ast (-1)\ast 6+{\lambda }_3{\lambda }_2\ast (-1)\ast 14+{\lambda }_3^2\ast 1\ast 20)-({\lambda }_1+{\lambda }_2+{\lambda }_3)\end{array}$$

稍作化简，可得

$$\begin{array}{r}q({\lambda }_1,{\lambda }_2,{\lambda }_3)=\frac{1}{2}(2{\lambda }_1^2+13{\lambda }_2^2+20{\lambda }_3^2+10{\lambda }_1{\lambda }_2-12{\lambda }_1{\lambda }_3-28{\lambda }_2{\lambda }_3)-({\lambda }_1+{\lambda }_2+{\lambda }_3)\end{array}$$

又因为有约束条件$\sum _{i=1}^s{\lambda }_i{y}_i=0$，可知

$${\lambda }_1+{\lambda }_2-{\lambda }_3=0$$

即

$${\lambda }_1+{\lambda }_2={\lambda }_3$$

将该条件代入以上式子中，可得

$$\begin{array}{rl}q({\lambda }_1,{\lambda }_2)& =\frac{1}{2}(2{\lambda }_1^2+13{\lambda }_2^2+20({\lambda }_1+{\lambda }_2{)}^2+10{\lambda }_1{\lambda }_2-12{\lambda }_1({\lambda }_1+{\lambda }_2)-28{\lambda }_2({\lambda }_1+{\lambda }_2))-2({\lambda }_1+{\lambda }_2)\\ & =\frac{1}{2}(10{\lambda }_1^2+5{\lambda }_2^2+10{\lambda }_1{\lambda }_2)-2({\lambda }_1+{\lambda }_2)\end{array}$$

接下来对 ${\lambda }_1，{\lambda }_2$分别求偏导，并令其为 0，得

$$\{\begin{array}{l}{F}_{{\lambda }_1}^1=10{\lambda }_1+5{\lambda }_2-2=0\\ F_{{\lambda }_2}^1=5{\lambda }_1+5{\lambda }_2-2=0\end{array}$$

解得，${\lambda }_1=0，{\lambda }_2=0.4，{\lambda }_3=0.4$(符合条件${\lambda }_i>=0$)

接下来根据该式子$\vec{w}=\sum _{i=1}^s{\lambda }_i{y}_i\cdot \overrightarrow{x_i}$，求解$\vec{w}$，即

$$\begin{array}{rl}\vec{w}& =\sum _{i=1}^s{\lambda }_i{y}_i\cdot \overrightarrow{x_i}\\ & ={\lambda }_1\ast y_1\cdot \overrightarrow{x_1}+{\lambda }_2\ast y_2\cdot \overrightarrow{x_2}+{\lambda }_3\ast y_3\cdot \overrightarrow{x_3}\\ & =0.4\ast (3,2)-0.4\ast (2,4)\\ & =(0.4，-0.8)\end{array}$$

根据$b=\frac{1}{y_i}-\vec{w}\cdot \overrightarrow{x_i}$求解b，可得(任意选i，其值b均相同)

$$\begin{array}{rl}b& =\frac{1}{y_1}-\vec{w}\cdot \overrightarrow{x_1}\\ & =1-(0.4，-0.8)\cdot (1，1)\\ & =1.4\end{array}$$

所以，我们得到了决策超平面为

$$0.4X_1-0.8X_2+1.4=0$$

决策函数为

$$f(x)=sign(0.4X_1-0.8X_2+1.4)$$

现在预测点$X(2,1)$, 得

$$f(X)=sign(0.4\ast 2-0.8\ast 1+1.4)=sign(1.4)=1$$

我们可以将所有数据样本和决策超平面画出，判断预测结果是否正确

如图可见，预测结果正确。

仔细观察，可以发现一个小细节，即$X_2，X_3$作为支持向量，其对应的${\lambda }_2，{\lambda }_3$不为0，$X_1$不是支持向量，其对应的${\lambda }_1$正好等于0。

正好对应了KKT条件中的 ${\lambda }_i(y_i\ast (\vec{w}\cdot \vec{x}+b)-1)=0$公式，即

• 若 $X_i$ 不是支持向量, $y_i\ast (\vec{w}\cdot \vec{x}+b)-1\ne 0，{\lambda }_i=0。$
• 若 $X_i$ 是支持向量, $y_i\ast (\vec{w}\cdot \vec{x}+b)-1=0，{\lambda }_i\ne 0。$

换句话说，${\lambda }_i$ 只会对支持向量起作用，所以支持向量机的决策超平面计算和模型构建效率不算太慢。

小结

由于本人数学水平有限，上文中许多概念也是一知半解，如拉格朗日乘数法、对偶问题等，希望小伙伴们指出不足之处。

这篇文章的核心本质是讲解如何推出支持向量机的决策超平面方程以及决策函数，从而达到最优化分类的效果，希望能给大家带来帮助。