支持向量机（Support Vector Machine, SVM）基础知识

这篇文章仅介绍支持向量机的基础知识，不涉及特别复杂的求解。不清楚基础知识的小伙伴可以看一下这篇文章。

---

首先呢，支持向量机解决的是将数据点分成两类的问题。本文只考虑线性分类器。对于二维的数据而言，就是要找到一条直线，将数据点分成两类，一类在直线这边，另一类在直线那边。对于更高维，比如$n$维的数据，就是要找到一个“超平面”，将数据分到超平面两侧。这里的“超平面”一定是$n-1$维的，它的方程一定是$$a_1{x}_1+a_2{x}_2+\cdots +a_n{x}_n+b=0$$因为增加一个（有效的）约束条件就相当于降一维，在原来没有约束条件（$n$维）的基础上增加一个方程就降到了$(n-1)$维。例如，在三维中，“超平面”就是二维的平面；二维中，“超平面”就是一维的直线。不论如何，超平面的方程一定是线性函数，这就是为什么叫线性分类器。

观察上面那个式子，用线性代数的知识我们很容易看出左边可以写成两个向量内积的形式。令$\mathbf{w}=\left[\begin{array}{c}{a}_1\\ a_2\\ \cdots \\ a_n\end{array}\right]$，$\mathbf{x}=\left[\begin{array}{c}{x}_1\\ x_2\\ \cdots \\ x_n\end{array}\right]$，则超平面的方程一定可以表示为$${\mathbf{w}}^T\mathbf{x}+b=0$$特别地，在二维的情况下，$\mathbf{x}=\left[\begin{array}{c}x\\ y\end{array}\right]$，${\mathbf{w}}^T\mathbf{x}+b=0$就是直线$Ax+By+C=0$。

这个向量$\mathbf{w}$的含义是什么呢？其实它就是超平面的法向量。我们知道，法向量与超平面上的任意向量正交（垂直）。任取超平面上两点${\mathbf{x}}_1,{\mathbf{x}}_2$，则${\mathbf{x}}_2-{\mathbf{x}}_1$就是平面上的一个向量，而${\mathbf{w}}^T({\mathbf{x}}_2-{\mathbf{x}}_1)={\mathbf{w}}^T{\mathbf{x}}_1-{\mathbf{w}}^T{\mathbf{x}}_2=(-b)-(-b)=0$，所以${\mathbf{w}}^T$与${\mathbf{x}}_2-{\mathbf{x}}_1$正交，$\mathbf{w}$与超平面上的任意向量垂直，故$\mathbf{w}$是超平面的法向量。特别地，直线$Ax+By+C=0$的法向量就是$(A,B)$。

那我们的目标是什么呢？且看下图：

对于这些数据点，显然有无数条直线可以把它们完全分成两类。选哪条最好呢？答案是：选择的这条直线，离它最近的数据点距离它的距离必须最大。换言之：我们要最大化数据点到直线的最短距离。离直线最近的数据点就是支持向量（Support Vector），任意维数中分割数据的超平面称为最大间隔超平面（在这里就是这条直线）。

怎么计算一个点到直线的距离呢？假设对于数据点$\mathbf{x}$，我们要计算它到直线${\mathbf{w}}^T\mathbf{x}+b=0$的距离。取直线上任一点${\mathbf{x}}_0$，则$\mathbf{x}$到${\mathbf{x}}_0$的距离为$\Vert \mathbf{x}-{\mathbf{x}}_0\Vert$。令$\mathbf{x}-{\mathbf{x}}_0$垂直于直线，则$\mathbf{x}-{\mathbf{x}}_0$于直线的法向量$\mathbf{w}$平行，即$\mathbf{x}-{\mathbf{x}}_0=\lambda \mathbf{w}$，${\mathbf{x}}_0=\mathbf{x}-\lambda \mathbf{w}$。而${\mathbf{x}}_0$在直线上，有${\mathbf{w}}^T{\mathbf{x}}_0+b=0$，带入得${\mathbf{w}}^T\mathbf{x}-\lambda {\mathbf{w}}^T\mathbf{w}+b=0$，$\lambda {\mathbf{w}}^T\mathbf{w}={\mathbf{w}}^T\mathbf{x}+b$，解得
$$\lambda =\frac{{\mathbf{w}}^T\mathbf{x}+b}{\Vert \mathbf{w}{\Vert }^2}$$$$\Vert \mathbf{x}-{\mathbf{x}}_0\Vert =\Vert \lambda \mathbf{w}\Vert =\frac{|{\mathbf{w}}^T\mathbf{x}+b|}{\Vert \mathbf{w}\Vert }$$这就是$\mathbf{x}$到直线的距离。这个公式对于任意维数的超平面都成立。

怎么表示分类的结果呢？其实就是一个函数$y=f(\mathbf{x})$，使得对于一类$\mathbf{x}$有$f(\mathbf{x})=1$，另一类有$f(\mathbf{x})=-1$。

回到点$\mathbf{x}$到直线的距离公式，如果我们把分子的绝对值去掉，那这个距离就可能是负的。但是，有一个很好的性质：在直线上方的这类点距离为正，下面为负。如果我们定义上面这类点$y$值为$+1$，下面为$-1$，那$y\frac{{\mathbf{w}}^T\mathbf{x}+b}{\Vert \mathbf{w}\Vert }$就是恒正的。我们称$\tilde{\gamma }(\mathbf{x})=y\frac{{\mathbf{w}}^T\mathbf{x}+b}{\Vert \mathbf{w}\Vert }$为$\mathbf{x}$的几何间隔，它恒正，如果是负的，表示出现了分类错误。

假设数据点到直线的最短距离为$d$，则$y\frac{{\mathbf{w}}^T\mathbf{x}+b}{\Vert \mathbf{w}\Vert }=d$。令$\Vert \mathbf{w}\Vert =\frac{1}{d}$，则有$\min y({\mathbf{w}}^T\mathbf{x}+b)=1$。这样做是为了方便计算，此时支持向量在直线${\mathbf{w}}^T\mathbf{x}+b=\pm 1$上。（其中$\hat{\gamma }(\mathbf{x})=y({\mathbf{w}}^T\mathbf{x}+b)$称为函数间隔。）那么，对于任意数据点${\mathbf{x}}_i$，有$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$。这个约束条件相当于规定了数据点不能落在直线${\mathbf{w}}^T\mathbf{x}+b=1$与${\mathbf{w}}^T\mathbf{x}+b=-1$之间。现在要让$d$最大，就是让$\frac{1}{\Vert \mathbf{w}\Vert }$最大。问题转化为求$$\underset{\mathbf{w},b}{\max }\frac{1}{\Vert \mathbf{w}\Vert },\text{s.t. }{y}_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$$要让$\frac{1}{\Vert \mathbf{w}\Vert }$最大，就是让$\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$最小。问题又转化为求$$\underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2,\text{s.t. }{y}_i({\mathbf{w}}^T{\mathbf{x}}_i+b)\ge 1$$这里平方是为了去除$\Vert \mathbf{w}\Vert$的根号，乘$\frac{1}{2}$是为了简化计算。
接下来就要用拉格朗日乘数法了。设有$n$个数据，就有$n$个约束条件。于普通的拉格朗日乘数法不同，这里的约束条件是“大于等于”，不是等于，所以需要一些别出心裁的设计。按照套路，定义拉格朗日函数$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\sum _{i=1}^n{\alpha }_i[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1]$$其中$\mathbf{\alpha }=({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_n)$是拉格朗日乘数。令$$\theta (\mathbf{w})=\underset{{\alpha }_i\ge 0}{\max }L(\mathbf{w},b,\mathbf{\alpha })$$添加约束条件${\alpha }_i\ge 0$就是解决“大于等于”的问题。试想，假如某个约束条件不满足，即$y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)<1$，那么对应的那一项$-{\alpha }_i[y_i({\mathbf{w}}^T{\mathbf{x}}_i+b)-1]>0$，此时取${\alpha }_i\to \infty$就有$\theta (\mathbf{w})\to \infty$，所以条件不满足是很容易甄别出来的。

接下来令$\frac{\partial L}{\partial \mathbf{w}}=\frac{\partial L}{\partial b}=0$，得到$$\begin{array}{rl}\mathbf{w}& =\sum _{i=1}^n{\alpha }_i{y}_i{\mathbf{x}}_i\\ 0& =\sum _{i=1}^n{\alpha }_i{y}_i\end{array}$$

代入拉格朗日方程得到$$\begin{gathered} \tilde{L}(\mathbf{\alpha })=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{{\mathbf{x}}_i}^T{\mathbf{x}}_j \\ \text{s.t. }{\alpha }_i\ge 0,i=1,2,\cdots ,n \\ \sum _{i=1}^n{\alpha }_i{y}_i=0 \end{gathered}$$

根据上述条件，我们使用序列最小化算法（Sequential Minimal Optimization, SMO）（详见http://chubakbidpaa.com/svm/2020/12/27/smo-algorithm-simplifed-copy.html）获得$\mathbf{\alpha }$的最优值，最后分类器的形式为$$f(\mathbf{x})=\sum _{i=1}^n{\alpha }_i{y}_i{\mathbf{x}}^T{\mathbf{x}}_i+b$$其正负代表了$\mathbf{x}$处于$+1$类还是$-1$类。

---

好啦，这篇文章的使命到此就结束了，关于SMO算法的内容就超出我的知识范围了，涉及到二次规划、KTT条件什么的。希望对你理解SVM的基础知识有帮助~