一文理解SVM：一步一步推导和解析

转载请引用 https://blog.csdn.net/weixin_43658194/article/details/104844723

一年多以前学习到SVM，但当时跳过了很多难懂的部分，本想找时间慢慢搞懂，谁知道一晃一年多过去了，到今天才算比较完整地理解了SVM。一年多的时间里，一看到SVM几个字就让我肃然起敬，敬而远之，到今天才有一种敌人变朋友的感觉。理解SVM确实不易，因此趁着还没忘，赶紧记录下来自己的理解，方便与大家交流学习，同时也加深自己的记忆，还望诸多大神们不吝赐教。

定义

估计大家对SVM都已经有所了解，那么像一些耳熟能详的，比如天使与魔鬼的故事我就懒得讲了）其实是不会讲。。
接下来简单定义一下SVM：SVM是一种线性或非线性的二分类器。看起来很简单吧：）

基本思想

想象一下，给你一堆只有两类的训练样本，假设他们的属性只有两维（如果不是两维可以PCA降到两维），把它们投影到二维坐标系中，如上图所示。理想情况下，它们会落在两个区域，一个区域全是正例，一个区域全是负例，那么我们会很自然地想要找到分割这两个区域的一个分界线，这样，有新样本到来的时候，我们就可以根据它落到哪个区域，来预测它属于哪个类别。这样的分界线有很多，如上图的几条直线都符合条件。

SVM的想法就是寻找一个最好的分界线，或者说最优划分超平面，使得这样地划分尽可能不让新样本“越界”，因此，直观来看，处于这两个区域最中间的线（图中红色那条），距离两个区域的中心最远，最可能符合要求。

数学上，划分超平面表达为：$${\mathbf{w}}^T\mathbf{x}+b=0$$为什么是这样呢，可以看下面这张图：

我们以二维空间为例，高维空间可以类似地扩展，红色线为超平面，空间中任一点${\mathbf{x}}_{\mathbf{i}}$可以表示成从原点出发的一个向量（上图灰色箭头），根据定义，$\mathbf{w}$为直线的法向量，令其模长为1，则${\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}$的效果是将${\mathbf{x}}_{\mathbf{i}}$投影到了，从原点到超平面的垂线上，垂线的长度即为$b$，因此超平面上任一点都满足${\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b=0$，于是${\mathbf{w}}^T\mathbf{x}+b=0$为超平面的表达式。也可以看出，所有在红色线右上方的点满足${\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b>0$，左下方的点满足${\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b<0$。

最大间隔

我们不能口说无凭，得在数学上形式化这个问题，然后解决它。说白了，我们要找的超平面，应该距离两个区域最近的样本都一样远，注意是一样远，因为不能偏向正例或负例。看下面这张图

做两条相互平行“切线”，分别与两个区域最边上的点“相切”（虚线圈住的点），那么最优划分超平面就应该是两条“切线”中间的那条线（红色线），要距离最远，则要最大化红色线与虚线点之间的距离，也就是最大化下面这个式子（设虚线点为${\mathbf{x}}_{xu}$）$$d=\frac{|{\mathbf{w}}^T{\mathbf{x}}_{xu}+b|}{{\Vert \mathbf{w}\Vert }_2}\text{\hspace{1em}(1)}$$
可以看到，最优划分超平面的确定只与虚线点有关，这些虚线点称为支持向量，这也是SVM支持向量机这个名称的由来。

令样本集为 { ( x i , y i ) ∣ i = 1 , 2 , 3 , . . . , n } \{(\boldsymbol{x_i}, y_i) | i = 1,2,3,...,n\} {(xi​,yi​)∣i=1,2,3,...,n}，为了后面计算方便，也令 y i = { + 1 , − 1 } y_i = \{+1, -1\} yi​={+1,−1}，其中+1代表正例，-1代表负例，令上图中上下两条“切线”分别为 ${\mathbf{w}}^T\mathbf{x}+b=1$ 和 ${\mathbf{w}}^T\mathbf{x}+b=-1$，注意，这里的 $\mathbf{w}$ 和 $b$ 与红色线的相同，如果“切线”方程实际为 ${\mathbf{w}}^T\mathbf{x}+b=k$，那么可以将其两边同时除以k，最优划分超平面的$\mathbf{w}$和$b$也要同时除以k，不会改变方程式所代表的直线本身。对于图中所有点来说，就都满足 $y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$ 了，这有什么用呢，是用来约束我们优化的过程的。如果不这么约束，那么为了最大化$(1)$式，则可以将红色线扔到无穷远的地方，但显然我们要的是在切线区域内的最优划分超平面，因此，我们的优化目标是$$\underset{\mathbf{w},b}{\max }2d=2\cdot \frac{|{\mathbf{w}}^T{\mathbf{x}}_{xu}+b|}{{\Vert \mathbf{w}\Vert }_2}=\frac{2}{{\Vert \mathbf{w}\Vert }_2}$$ $$s.t.y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1,i=1,2,..,n\text{\hspace{1em}(2)}$$因为最优划分超平面应处于中间，所以是$2d$。$(2)$式等价于$$\underset{\mathbf{w},b}{\min }\frac{{\Vert \mathbf{w}\Vert }_2^2}{2}$$ $$s.t.1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\le 0,i=1,2,..,n\text{\hspace{1em}(3)}$$

那么SVM怎么成为一个分类器呢，其实，它的模型就是 $$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$$对于一个样本${\mathbf{x}}_{new}$，如果 $f({\mathbf{x}}_{new})\ge 1$，则预测其为正类；如果 $f({\mathbf{x}}_{new})\le -1$ 则预测其为负类。

拉格朗日乘子法和KKT条件

拉格朗日乘子法可将有d个变量k个约束条件的最优化问题转化为具有d+k个变量的无约束优化问题。——西瓜书

对于优化问题$$\underset{\mathbf{x}}{\min }f(\mathbf{x})$$ $$\begin{array}{rl}s.t.h_i(\mathbf{x})& =0,i=1,2,..,m\\ g_j(\mathbf{x})& \le 0,j=1,2,..,n\end{array}\text{\hspace{1em}(4)}$$ 定义拉格朗日函数为 $$\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\alpha })=f(\mathbf{x})+\sum _i{\lambda }_i{h}_i(\mathbf{x})+\sum _j{\alpha }_j{g}_j(\mathbf{x})\text{\hspace{1em}(5)}$$ 为什么是小于等于0呢，因为如果 $g(\mathbf{x})=0$ 围成了一个闭合区域，那么 $g(\mathbf{x})<0$ 限定了解在这个区域内，这样会有比较好的性质，更加直观。
对于$(5)$式中的等式约束，大家都比较熟悉了，现在来看看不等式约束。先说结论，${\alpha }_j\ge 0$。为什么要大于等于0呢，因为这时 ${\alpha }_j{g}_j(\mathbf{x})\le 0$，此时对$(5)$式进行极大极小，即 $$\underset{\mathbf{x}}{\min }\underset{\mathbf{\lambda },\mathbf{\alpha }}{\max }\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\alpha })\text{\hspace{1em}(6)}$$ 就等价于(4)式的解了，这样我们就把带有等式和不等式约束的最优化问题转换成了无约束优化问题。如果${\alpha }_j$可以取小于0的值，那么 ${\max }_{\mathbf{\lambda },\mathbf{\alpha }}\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\alpha })$ 的结果就会变成无穷大，而 ${\min }_{\mathbf{\lambda },\mathbf{\alpha }}\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\alpha })$ 的结果是无穷小，此时无法将$(4)$式与$(6)$式等价。

这是一种对于${\alpha }_j\ge 0$的解释，还有一种解释，在西瓜书的附录B.1，比较有趣和形象。看下面这张图，图片取自西瓜书：

首先，我们知道函数的梯度总是指向函数值增长最快的方向。下面我们分情况讨论：

1. 最优解位于 $g_j(\mathbf{x})<0$ 区域内，此时这条约束对求解不起作用，即如果去掉这条约束，求得解的结果不变，因此等价与将 ${\alpha }_j$ 置零。
2. 最优解位于边界 $g_j(\mathbf{x})=0$ 上，由于 $\nabla g(\mathbf{x})$ 指向 $g(\mathbf{x})>0$ 的区域，$\nabla f(\mathbf{x})$ 指向背向最优点 ${\mathbf{x}}^{\ast }$ 的方向，此时该点处 $f(\mathbf{x})$ 与 $g(\mathbf{x})$ 的梯度方向相反，如上图所示，即存在 ${\alpha }_j>0$ 使得 $\nabla f(\mathbf{x})+{\alpha }_j\nabla g_j(\mathbf{x})=0$ 。

综合以上两种情况，我们有：
$$\{\begin{array}{l}{g}_j(\mathbf{x})<=0\\ {\alpha }_j>=0\\ {\alpha }_j{g}_j(\mathbf{x})=0\end{array}$$

这种解释得到的结果，加上之前的结果，我们有
$$\{\begin{array}{l}\nabla \mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\alpha })=0;\\ h_i(\mathbf{x})=0,i=1,2,...,m;\\ g_j(\mathbf{x})<=0,\\ {\alpha }_j>=0,\\ {\alpha }_j{g}_j(\mathbf{x})=0,j=1,2,...,n.\end{array}\text{\hspace{1em}(7)}$$
此即为KKT条件。对于一般的任意问题而言，KKT条件是使一组解成为最优解的必要条件，当原问题是凸问题的时候，KKT条件也是充分条件。

对偶问题

一个优化问题可以直接对原问题或者说“主问题”（primal problem）直接求解，当“主问题”不好求解的时候，就可以考虑求解其对偶问题（dual problem），这就是为什么我们要在拉格朗日乘子法中考虑其对偶形式。当$(6)$式所表达的问题不好求解的时候，我们可以转化成其对偶形式：$$\underset{\mathbf{\lambda },\mathbf{\alpha }}{\max }\underset{\mathbf{x}}{\min }\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\alpha })\text{\hspace{1em}(8)}$$ 关于如何转化成对偶问题，我没弄明白，不过感觉在此没必要深究。$(8)$式从直观上比较好理解，就是调换了一下min和max的顺序。在这里，令最优解 $p^{\ast }=式(6)$，$d^{\ast }=式(8)$ 则有 $$d^{\ast }\le p\ast$$ 可以理解为：对极小结果的极大 <= 对极大结果的极小。当满足某些条件时，比如主问题为凸优化问题，那么 $$d^{\ast }=p^{\ast }$$

SVM的对偶问题

对于SVM来说，其主问题（属于二次规划问题）为凸优化问题，而其主问题求解起来时间复杂度较高，因此可转换成等价的对偶问题。
对于式$(3)$，定义拉格朗日函数为 $$\mathcal{L}(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}{\Vert \mathbf{w}\Vert }_2^2+\sum _{i=1}^n{\alpha }_i(1-y_i({\mathbf{w}}^T{\mathbf{x}}_i+b))\text{\hspace{1em}(9)}$$ 其中 α = { α 1 ; α 2 , . . . , α n } \boldsymbol{\alpha}=\{\alpha_1;\alpha_2,...,\alpha_n\} α={α1​;α2​,...,αn​}。令上式对$\mathbf{w}$ 和 $b$ 的偏导为0可得，$$\mathbf{w}=\sum _{i=1}^n{\alpha }_i{y}_i{\mathbf{x}}_i$$ $$\sum _{i=1}^n{\alpha }_i{y}_i=0$$ 将其代入 $(9)$式即可消去 $\mathbf{w}$ 和 $b$，可得 $$\mathcal{L}(\mathbf{w},b,\mathbf{\alpha })=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j\text{\hspace{1em}(10)}$$ 对$(10)$式求min即为$(8)$式中 ${\min }_{\mathbf{x}}\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\alpha })$ 的结果，因此“主问题”式$(3)$的对偶问题为：
$$\underset{\mathbf{\alpha }}{\max }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^T{\mathbf{x}}_j-\sum _{i=1}^n{\alpha }_i$$ $$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0,{\alpha }_i\ge 0,i=1,2,...,n$$ 注意，因为主问题要对(10)式求min，因此求max的时候要反转符号。

解出 $\mathbf{\alpha }$ 后，则可根据 $$\mathbf{w}=\sum _{i=1}^n{\alpha }_i{y}_i{\mathbf{x}}_i\text{\hspace{1em}(11)}$$ 和 $$y_s\left(\sum _{i\in S}{\alpha }_i{y}_i{\mathbf{x}}_i^T{\mathbf{x}}_s+b\right)=1$$ 来得到 $\mathbf{w}$ 和 $b$，得到 $\mathbf{w}$ 和 $b$ 之后，我们就得到了SVM的模型。其中，$S$ 为支持向量集合，$({\mathbf{x}}_s,y_s)$ 为一个支持向量。为了使结果鲁棒，则可以取平均值 $$b=\frac{1}{|S|}\sum _{s\in S}\left(y_s-\sum _{i\in S}{\alpha }_i{y}_i{\mathbf{x}}_i^T{\mathbf{x}}_s\right)\text{\hspace{1em}(12)}$$

至于如何求解 $\mathbf{\alpha }$，则需要用到SMO算法了。关于SMO算法的推导，则可参考这篇博客，以及西瓜书6.2节，自己还没有理解透。
到目前为止，SVM的主要思路都理了一遍。关于SMO算法、核函数、软间隔，以及SVM的种种变体算法，等后续有时间再更新。
这是本人第一次写博客，才疏学浅，还望大家多多包涵。
在学习这些经典算法的过程中，不禁感叹前人的智慧是多么强大，思想是多么精妙，这也许也是学习的有趣之处吧。

参考资料

[1] 拉格朗日对偶. https://www.cnblogs.com/ooon/p/5723725.html
[2] KKT条件总结. https://blog.csdn.net/qq_19446965/article/details/81742577
[3] 周志华. 《机器学习》.