机器学习基础：支持向量机（Machine Learning Fundamentals: Support Vector Machine, SVM）

引言

核心思想：
支持向量机的核心思想很简单：在众多可行的分类的超平面中，选择一个超平面，使得两类样本到该超平面的间隔最大。

为什么叫支持向量机？
当我们求解完支持向量机之后，可以发现最大间隔超平面完全由部分训练数据$x_i$决定，这部分数据的名字叫支持向量，因此这种分类方法被称为支持向量机。

方法

简单推导

支持向量机的推导过程总体来说较为简单：

给定包含$n$个点的训练集$(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$, 其中 y i ∈ { − 1 , 1 } y_i \in \{-1, 1\} yi​∈{−1,1}。

对于线性SVM来说，其超平面可以表示为：

$$w^{T}x+b=0$$

任意一点$x_i$到这个超平面的距离为:

$$d=\frac{|w^{T}x+b|}{||w||}$$

我们希望这个距离越大越好，即：

d = ∣ w T x + b ∣ ∣ ∣ w ∣ ∣ ≥ m ,  i ∈ { 1 , 2 , . . . , n } d = \frac{|w^{T}x+b|}{||w||} \ge m \text{, } i \in \{1, 2, ..., n\} d=∣∣w∣∣∣wTx+b∣​≥m, i∈{1,2,...,n}

也就是说，我们找到一组向量$w$，使得$m$最大。

把上式分子的绝对值去掉，有：

d = y ( w T x + b ) ∣ ∣ w ∣ ∣ ≥ m ,  i ∈ { 1 , 2 , . . . , n } d = \frac{y(w^{T}x+b)}{||w||} \ge m \text{, } i \in \{1, 2, ..., n\} d=∣∣w∣∣y(wTx+b)​≥m, i∈{1,2,...,n}

因为当$w^T{x}_i+b<-1$时，有$y_i=-1$

当$w^T{x}_i+b>1$时，有$y_i=1$

我们令$||w||d=1$， 因为这不会改变超平面的性质。因此有：

$$\max \frac{1}{||w||}$$

为了方便计算，我们将上述最大化问题转为最小化问题，有：

$$\min \frac{1}{2}||w|{|}^2$$

除了上述目标函数，还需要如下约束条件：

$w^T{x}_i+b<-1$， $y_i=-1$

$w^T{x}_i+b>1$， $y_i=1$

把这两个式子合并，有：$y_i\left(w^T{x}_i+b\right)\ge 1$

因此，SVM的最终目标函数如下：
$$\min \frac{1}{2}\Vert w{\Vert }^2\text{ s.t. }{y}_i\left(w^T{x}_i+b\right)\ge 1$$

可以看到，两条虚线上对应的向量叫做支持向量，且这两条向量完全由支持向量决定。

硬间隔 (Hard Margin)

在上述推导中，$y_i\left(w^T{x}_i+b\right)\ge 1$的条件保证了所有训练数据都处于边缘之外，因此被称为硬间隔。

硬间隔的目标函数如下：

$$\begin{array}{rl}& \min \frac{1}{2}\Vert w{\Vert }^2\\ \text{ s.t. }& y_i\left(w^T{x}_i+b\right)\ge 1\end{array}$$

对于一个新数据，可以使用如下判别方法：$x\to sgn(w^{T}x+b)$。其中，$sgn$为符号函数。

软间隔

实际应用中，上述硬间隔往往很难满足条件，因此这里引入一个松弛变量$\xi \ge 0$，且$y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1-{\xi }_i$ (也就是说，允许一些样本在间隔之内，不必所有样本必须在间隔之外。)

根据上述松弛条件，软间隔的目标函数如下：

$$\begin{array}{rl}& \underset{\mathbf{w},b,{\xi }_i}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^n{\xi }_i\\ \text{ s.t. }& y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1-{\xi }_i\\ & {\xi }_i⩾0,i=1,2,....,\mathbf{n}\end{array}$$

直观理解软间隔和硬间隔的差异：

核函数

这里不对SVM的求解过程进行详细介绍，我们试图对核函数的核心思想和求解过程进行直观理解.

如下图，kernel trick主要解决的是将线性不可分的问题映射到更高的维度，使其变成一个线性可分的问题。使用公式表达，即利用$\varphi (x)$对$x$进行升维操作。

那么如何获取$\varphi (x)$这个函数呢？ 我们先不求$\varphi (x)$本身，先看看将$x$升维之后求解$w$的过程发生了哪些变化：

升维之后，SVM的超平面方程如下：

$$w^T\varphi (x)+b=0$$

要得到$w$和$b$，需要优化如下目标函数（具体推导过程参考 [2], 这里不作为重点）：

$$\begin{array}{rl}& \underset{\lambda }{\min }\left[\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j\left(\varphi \left(x_i\right)\cdot \varphi \left(x_j\right)\right)-\sum _{j=1}^n{\lambda }_i\right]\\ \text{ s.t. }& \sum _{i=1}^n{\lambda }_i{y}_i=0,{\lambda }_i\ge 0,C-{\lambda }_i-{\mu }_i=0\end{array}$$

和原始SVM求解的差别在于，这里把原始SVM目标函数中的$(x_i\cdot x_j)$替换成了$\left(\varphi (x_i)\cdot \varphi (x_j)\right)$，其他地方不变。

然而，问题在于$\varphi (x_i)$和$\varphi (x_j)$的内积若直接求解不太好计算，所以这里提出了一种核技巧(kernel trick)，目的是将映射之后的内积$\left(\varphi (x_i)\cdot \varphi (x_j)\right)$转化为原始空间中的某种计算$\kappa (x_i,x_j)$。这样，我们就可以极大的简化运算，同时我们还不用显式地求解$\varphi (x)$是多少了。

常见的核函数$\kappa (x_i,x_j)$

• 线性核函数
  $$k\left(x_i,x_j\right)=x_i^T{x}_j$$

• 多项式核函数
  $$k\left(x_i,x_j\right)={\left(x_i^T{x}_j\right)}^d$$

• 高斯核函数
  $$k\left(x_i,x_j\right)=\exp \left(-\frac{\Vert x_i-x_j\Vert }{2{\delta }^2}\right)$$

常用工具

Libsvm

SVM经典工具

LIBSVM – A Library for Support Vector Machines

sklearn svm

Support Vector Machines

小结

SVM的作为一种经典且性能良好的分类和（或）回归模型，其内容远不止上述这些。

但是掌握了这些基本概念之后相信再根据实际应用去学习其他方面的内容也不是太难。

这里我们没有介绍SVM的详细求解过程，更多的是对SVM的核心概念和思想进行学习。

这样，对于现有的svm工具包，我们就可以根据其原理和手中数据的特点确定调节超参数的方向。

参考文献

[1] https://en.wikipedia.org/wiki/Support-vector_machine

[2] 【机器学习】支持向量机 SVM（非常详细）

[3] R. O. Duda, P. E. Hart, and D. G. Stork, Pattern Classification. John Wiley & Sons, 2012.

[4] What is the kernel trick? Why is it important?