机器学习进阶（9）：超详细的支持向量机（SVM）的公式推导和理解

0 前言

网上有很多版本比较混乱，索性依照自己的理解重新整理了SVM的要点。支持向量机（support vector machines，SVM）是一种二分类模型，它将实例的特征向量映射为空间中的一些点，SVM 的目的就是想要画出一条线，以 “最好地” 区分这两类点。

1 线性可分支持向量机

1.1 硬间隔

即过渡带无样本点，目的是两类数据完全分开。

1.2 硬间隔SVM

给定训练数据集： T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) . . . ( x N , y N ) } x i ∈ R n , y i ∈ { + 1 , − 1 } , i = 1 , 2 , . . . N \mathrm{T}=\left\{ \left( \mathbf{x}_1,\mathrm{y}_1 \right) ,\left( \mathbf{x}_2,\mathrm{y}_2 \right) ...\left( \mathbf{x}_{\mathbf{N}},\mathrm{y}_{\mathrm{N}} \right) \right\} \\ \mathbf{x}_{\mathbf{i}}\in \mathrm{R}^{\mathrm{n}},\mathrm{y}_{\mathrm{i}}\in \{+1,-1\},\mathrm{i}=1,2,...\mathrm{N} T={(x1​,y1​),(x2​,y2​)...(xN​,yN​)}xi​∈Rn,yi​∈{+1,−1},i=1,2,...N
其中x是实例，y为标签，取±1。

在样本空间构造超平面函数：
$$y(x)=w^T\Phi (x)+b$$

根据标签：$$\{\begin{array}{l}y\left(x_i\right)>0\iff y_i=+1\\ y\left(x_i\right)<0\iff y_i=-1\end{array}\Rightarrow y_i\cdot y\left(x_i\right)>0$$
函数值大于0则判定为正例，小于0判为负例。此时我们只需要求通过两类之间的超平面即可满足要求。

但是这里有很多超平面都满足需求，所以我们为了求最优的超平面，需要求两类之间的最短距离，而最优超平面即这个最短线段的垂直平分线。

这里的±1其实主要是为了推导方便，因为无论具体的距离是多少，都可以使W等比例缩放变换来满足要求。W的方向也是这条线的法线方向，这里指向上或者下都是等价的。

可以求出点到超平面的相对距离：
$$\frac{y_i\cdot y\left(x_i\right)}{|w|}=\frac{y_i\cdot \left(w^T\cdot \Phi \left(x_i\right)+b\right)}{|w|}$$
这里同时把标签信息带入，正好可以使得负例的距离也变成正值，目标函数为：
$$\underset{w,b}{\mathrm{argmax}}\left\{\frac{1}{|w|}\underset{i}{\min }\left[y_i\cdot \left(w^T\cdot \Phi \left(x_i\right)+b\right)\right]\right\}$$
就是找出距离最近的样本，然后这些样本到超平面的距离取最大。同时要使得超平面居中，两类点的函数值满足$\mathrm{y}\mid \ge 1$，需要约束条件：
$$y_i\cdot \left(w^T\cdot \Phi \left(x_i\right)+b\right)\ge 1$$
既然最后约束条件的最小值为1，因为总会找到支持向量取1，可以得到新的目标函数：
$$\begin{gathered} \underset{w,b}{\mathrm{argmax}}\frac{1}{|w|} \\ \mathrm{s}.\mathrm{t}.y_i\left(w^T\cdot \Phi \left(x_i\right)+b\right)\ge 1,i=1,2,\cdots ,n \end{gathered}$$
改写为：
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}|w{|}^2 \\ \mathrm{s}.\mathrm{t}.y_i\left(w^T\cdot \Phi \left(x_i\right)+b\right)\ge 1,i=1,2,\cdots ,n \end{gathered}$$

1.3 求解

使用拉格朗日乘子法求解（简略），先表示拉格朗日函数：
$$\begin{gathered} L(w,b,\alpha )=\frac{1}{2}|w{|}^2-\sum _{i=1}^n{\alpha }_i\left(y_i\left(w^T\cdot \Phi \left(x_i\right)+b\right)-1\right) \\ {\alpha }_i\ge 0,i=1,2,...,n \end{gathered}$$

原问题为极小极大问题：
$$\underset{w,b}{\min }\underset{\alpha }{\max }L(w,b,\alpha )$$
对偶问题是极大极小问题：
$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$
$L(w,b,\alpha )$分别对w和b求偏导并令其等于0：
$$\begin{array}{rl}& \frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_n\right)\\ & \frac{\partial L}{\partial b}=0\Rightarrow 0=\sum _{i=1}^n{\alpha }_i{y}_i\end{array}$$
这里的w就是求极小的解，将式子代回原函数，得到：
$$\begin{array}{rl}& L(w,b,\alpha )=\frac{1}{2}|w{|}^2-\sum _{i=1}^n{\alpha }_i\left(y_i\left(w^T\cdot \Phi \left(x_i\right)+b\right)-1\right)\\ & =\frac{1}{2}{w}^{T}w-w^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)-b\sum _{i=1}^n{\alpha }_i{y}_i+\sum _{i=1}^n{\alpha }_i\\ & =\frac{1}{2}{w}^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)-w^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)-b\cdot 0+\sum _{i=1}^n{\alpha }_i\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}{\left(\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)\right)}^T\sum _{i=1}^n{\alpha }_i{y}_i\Phi \left(x_i\right)\\ & =\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\Phi }^T\left(x_i\right)\Phi \left(x_j\right)\end{array}$$
这里的b可以消去，最后的式子就是求极大：
$$a^{\ast }=\underset{\alpha }{\mathrm{argmax}}\left(\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i,j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\Phi }^T\left(x_i\right)\Phi \left(x_j\right)\right)$$
同时要满足约束：
$$\begin{array}{rl}& \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(\Phi \left(x_i\right)\cdot \Phi \left(x_j\right)\right)\\ & \mathrm{s}.\mathrm{t}.\sum _{i=1}^n{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,...,n\end{array}$$
最终求解得到最优的${\alpha }^{\ast }$（SMO或者梯度下降迭代求得），这里仅支持向量$\alpha$值的大于0，其他样本的$\alpha$值都为0（支持向量指的是决定超平面的样本，硬间隔中是落在y=±1上的样本）。

计算得到：
$$\begin{gathered} w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\Phi \left(x_i\right) \\ {b}^{\ast }=y_i-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i\left(\Phi \left(x_i\right)\cdot \Phi \left(x_j\right)\right) \end{gathered}$$
求出最优的超平面：
$$w^{\ast }\Phi (x)+b^{\ast }=0$$
决策函数为：
$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(w^{\ast }\Phi (x)+b^{\ast }\right)$$

2 线性支持向量机

2.1 软间隔

并不一定完全分类的超平面是最好的，存在样本数据本身就线性不可分的情况，为了提高泛化性能，引入软间隔。也就是允许个别样本出错，落入超平面的另外一边。

2.2 软间隔SVM

若数据线性不可分，则增加松弛因子${\xi }_{\mathrm{i}}\ge 0$，使得函数间隔允许小于1。约束条件变为了：
$$y_i\left(w\cdot x_i+b\right)\ge 1-{\xi }_i$$
而目标函数为：
$$\begin{array}{rl}& \underset{w,b,\xi }{\min }\frac{1}{2}|w{|}^2+C\sum _{i=1}^N{\xi }_i\\ & \mathrm{s}.\mathrm{t}.y_i\left(w\cdot x_i+b\right)\ge 1-{\xi }_i,i=1,2,\cdots ,n\\ & {\xi }_i\ge 0,i=1,2,\cdots ,n\end{array}$$
由于前面推导过了，这里的省略了很多部分。其中C为惩罚因子，通过调节C来控制软间隔的大小，当C趋于∞时，${\xi }_{\mathrm{i}}$只能取0，软间隔就退化为了硬间隔。下图可以形象的表示这种变化：

2.3 求解

构造拉格朗日函数：
$$L(w,b,\xi ,\alpha ,\mu )\equiv \frac{1}{2}|w{|}^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i\left(y_i\left(w\cdot x_i+b\right)-1+{\xi }_i\right)-\sum _{i=1}^n{\mu }_i{\xi }_i$$

比硬间隔多了两个参数。

对$\mathrm{w},\mathrm{b},{\xi }_i$求偏导：
$$\begin{array}{rl}& \frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^n{\alpha }_i{y}_i\varphi \left(x_n\right)\\ & \frac{\partial L}{\partial b}=0\Rightarrow 0=\sum _{i=1}^n{\alpha }_i{y}_i\\ & \frac{\partial L}{\partial {\xi }_i}=0\Rightarrow C-{\alpha }_i-{\mu }_i=0\end{array}$$
代入拉格朗日函数，得到：
$$\begin{array}{rl}& \underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)+\sum _{i=1}^n{\alpha }_i\\ & \mathrm{s}.\mathrm{t}.\sum _{i=1}^n{\alpha }_i{y}_i=0\\ & C-{\alpha }_i-{\mu }_i=0\\ & \begin{array}{l}{\alpha }_i\ge 0\\ {\mu }_i\ge 0,i=1,2,...,n\end{array}\end{array}$$
后面三个条件可以推出：
$$0\le {\alpha }_i\le C$$
合并为：
$$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(x_i\cdot x_j\right)-\sum _{i=1}^n{\alpha }_i\\ & \mathrm{s}.\mathrm{t}.\sum _{i=1}^n{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,...,n\end{array}$$
同理求得最优的${\alpha }^{\ast }$，代入得到：$$\begin{array}{rl}{w}^{\ast }& =\sum _{i=1}^n{\alpha }_i^{\ast }{y}_i{x}_i\\ b^{\ast }& =\frac{{\max }_{i:y_i=-1}{w}^{\ast }\cdot x_i+{\min }_{i:y_i=1}{w}^{\ast }\cdot x_i}{2}\end{array}$$
最终求出超平面：
$$w^{\ast }x+b^{\ast }=0$$
求出分类决策函数：
$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(w^{\ast }x+b^{\ast }\right)$$

3 非线性支持向量机

3.1 核函数

可以使用核函数，将原始输入空间映射到高维的特征空间，从而使得原本低维线性不可分的样本能在高维核空间可分。

从超平面函数出发，这里我们是求一个映射$\Phi (x)$来将特征空间映射到另一个高维空间之后做判别分析。
$$y(x)=w^T\Phi (x)+b$$
例如，一个二维空间中的特征x$$x={\left(x^{(1)},x^{(2)}\right)}^{\mathrm{T}}$$
映射到三维空间：
$$\Phi (x)={\left({\left(x^{(1)}\right)}^2,\sqrt{2}{x}^{(1)}{x}^{(2)},{\left(x^{(2)}\right)}^2\right)}^{\mathrm{T}}$$
这样就通过这么一个映射实现了升维。但是实际上我们并不需要求出这个映射，因为观察最终的求解式：
$$\begin{array}{rl}& \underset{\alpha }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\left(\Phi \left(x_i\right)\cdot \Phi \left(x_j\right)\right)\\ & \mathrm{s}.\mathrm{t}.\sum _{i=1}^n{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,...,n\end{array}$$
可以发现我们要求是$\Phi \left(x_i\right)\cdot \Phi \left(x_j\right)$这么一个内积，最后依照刚才的例子有：
$$\Phi (x_1)\cdot \Phi (x_2)=(x_1\cdot x_2{)}^2=K(x_1\cdot x_2)$$
所以我们只需要计算这个映射内积的结果核函数$K(x_1\cdot x_2)$即可，注意这里$x_1$和$x_2$是向量。

当然也可以有$\Phi (x)=x$，这样就相当于构造了线性核$\kappa \left(x,z\right)=x^{T}z$，类似于线性回归的形式，这种方式就没有实现升维，就退回到了线性SVM。

3.2 带核函数的SVM

核函数分为了几类：

1. 多项式核函数：$$K\left(x_1,x_2\right)={\left(x_1\cdot x_2+c\right)}^d$$

2. 高斯核函数：
   $$K\left(x_1,x_2\right)=\exp \left(-\gamma \cdot {\Vert x_1-x_2\Vert }^2\right)$$

3. Sigmoid核函数：
   $$K\left(x_1,x_2\right)=\tanh \left(x_1\cdot x_2+c\right)$$
   替换为核函数后，目标函数如下：
   $$\begin{array}{rl}& \underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i\\ & \mathrm{s}.\mathrm{t}.\sum _{i=1}^N{\alpha }_i{y}_i=0\\ & 0\le {\alpha }_i\le C,i=1,2,...N\end{array}$$
   只是形式变了，实际不论是硬间隔或是软间隔都可以用到核函数。不仅是维度提升，而且计算量也会比先给出映射的情况要降低。

3.3 高斯核

着重介绍一下高斯核函数。高斯核函数是最常用的核函数，实际中不知道要用什么核函数时，都可以先选用高斯核函数：
$$\begin{array}{rl}K\left(x_1,x_2\right)& =e^{-\frac{{\Vert x_1-x_2\Vert }^2}{2{\sigma }^2}}=e^{-\frac{{\left(x_1-x_2\right)}^2}{2{\sigma }^2}}=e^{-\frac{x_1^2+x_2^2-2x_1{x}_2}{2{\sigma }^2}}=e^{-\frac{x_1^2+x_2^2}{2{\sigma }^2}}\cdot e^{\frac{x_1{x}_2}{{\sigma }^2}}\\ & =e^{-\frac{x_1^2+x_2^2}{2{\sigma }^2}}\cdot \left(1+\frac{1}{{\sigma }^2}\cdot \frac{x_1{x}_2}{1!}+{\left(\frac{1}{{\sigma }^2}\right)}^2\cdot \frac{{\left(x_1{x}_2\right)}^2}{2!}+{\left(\frac{1}{{\sigma }^2}\right)}^3\cdot \frac{{\left(x_1{x}_2\right)}^3}{3!}+\cdots +{\left(\frac{1}{{\sigma }^2}\right)}^n\cdot \frac{{\left(x_1{x}_2\right)}^n}{n!}+\cdots \right)\\ & =e^{-\frac{x_1^2+x_2^2}{2{\sigma }^2}}\cdot \left(1\cdot 1+\frac{1}{1!}\frac{x_1}{\sigma }\cdot \frac{x_2}{\sigma }+\frac{1}{2!}\cdot \frac{x_1^2}{{\sigma }^2}\cdot \frac{x_2^2}{{\sigma }^2}+\frac{1}{3!}\cdot \frac{x_1^3}{{\sigma }^3}\cdot \frac{x_2^3}{{\sigma }^3}+\cdots +\frac{1}{n!}\cdot \frac{x_1^n}{{\sigma }^n}\cdot \frac{x_2^n}{{\sigma }^n}+\cdots \right)\\ & =\Phi {\left(x_1\right)}^T\cdot \Phi \left(x_2\right)\end{array}$$
高斯核函数实际为无穷维的：
$$\Phi (x)=e^{-\frac{x^2}{2{\sigma }^2}}\left(1,\sqrt{\frac{1}{1!}}\frac{x}{\sigma },\sqrt{\frac{1}{2!}}\frac{x^2}{{\sigma }^2},\sqrt{\frac{1}{3!}}\frac{x^3}{{\sigma }^3},\cdots ,\sqrt{\frac{1}{n!}}\frac{x^n}{{\sigma }^n},\cdots \right)$$
这里的$\gamma$就等于$\frac{1}{2{\sigma }^2}$，写法不同而已：
$$K\left(x_1,x_2\right)=\exp \left(-\gamma \cdot {\Vert x_1-x_2\Vert }^2\right)$$
高斯核函数理解就是以样本x为中心，其他的点都衰减，根据相似度来区分。每一个样本都是一个中心，$\gamma$可以理解为衰减因子。

调参效果：

4 损失函数的角度

如果把硬间隔考虑为软间隔的一种特殊形式的话，那么可以写出通用的目标函数：
$$\begin{array}{rl}& \underset{w,b,\xi }{\min }\frac{1}{2}|w{|}^2+C\sum _{i=1}^N{\xi }_i\\ & \mathrm{s}.\mathrm{t}.y_i\left(w\cdot x_i+b\right)\ge 1-{\xi }_i,i=1,2,\cdots ,n\\ & {\xi }_i\ge 0,i=1,2,\cdots ,n\end{array}$$
问题可以写作：
$$\underset{w,b}{\min }\sum _{i=1}^N{\xi }_i+\lambda |w{|}^2$$
实际观察可以发现，这就是类似于LR（逻辑回归）加上了L2正则项，只是损失函数不同。损失函数 SVM是hinge损失，而LR是log损失 ，且输出 LR给出了后验概率 SVM只给出0或1，也就是属于哪一个类别 。

hinge函数：