多帅一小伙，非要硬钢SVM

  支持向量机（SVM）是作为一个经典并且高效的二分类模型，也有人认为这个是一个可以和神经网络抗衡的分类算法，即使在深度学习流行的现在也有它的一席之地，特别是在特征数量大于样本数量的高维特征空间场景下，具有速度快精度高的优点。而我在不断地死磕各路博客以及教学视频之后，终于对它有了简单的认识，下面就对SVM算法的原理进行记录。

算法目标

  先上模具，假如有一堆训练数据集是线性可分的

构造一条直线将两个类数据进行分类，那么这种直线理论上有无数条，那么SVM的目标就是要找到其中最优的一条。从视觉上来看距离两类数据边界最远的那条直线貌似对数据的分类效果更好，所以SVM的目标就是找到一个超平面¹，到数据边界的几何间隔最远，更专业的说明就是因为这条直线对数据样本局部扰动的容忍性更好。

在推导之前给定一系列的训练数据样本

x_i是第i个特征向量，y_i是第i个样本标签，当y_i等于+1时为正类，y_i等于-1时未负类。再假设训练样本为线性可分的，并且决策平面为 $0=w^{T}x+b$，这样就有，当预测样本标签大于0时为正类，小于0时为负类

距离计算

存在一个超平面 $0=w^{T}x+b$ ，超平面法向量为w，其中一个训练样本 x ，平面内两个点x₁，x₂。利用向量点积计算样本点到超平面的距离，点到平面的几何间隔等于向量xx₁与单位法向量的点积。

由于$w^T{x}_1=-b$，所以距离公式就换算成了与训练样本特征 x 相关的表达式。接下来再去绝对值，由于 $y_i$ 符号与 $w^T{x}_i+b$ 符号相同，并且$y_i$要么是-1要么是1，所以等式右边乘以一个$y_i$就可以去掉绝对值。
最终样本点到超平面的几何间隔为：

   $ditance(x,w,b)={\gamma }_i=\frac{y_i}{||w||}(w{x}_i+b)$

其中$y_i(w{x}_i+b)\ge 0$，现在我们让平面做一个缩放，一定能够找到一个值让$y_i(w{x}_i+b)\ge 1$，既然做了这个缩放，那么这个就是一个约束条件，所以距离函数就变成了：
      ${\gamma }_i=\frac{y_i}{||w||}(w{x}_i+b)$

      s.t. $y_i(w{x}_i+b)\ge 1$

目标函数

SVM的策略是让超平面距离边界样本的距离最大，所以目标函数为：

       a r g m a x w , b   { 1 ∣ w ∣ m i n i [ y i ( w x i + b ) ] } \underset {w,b}{arg max}\ \{\frac{1}{|w|}\underset {i}{min}[y_i(wx_i+b)]\} w,bargmax​ {∣w∣1​imin​[yi​(wxi​+b)]}

      s.t. $y_i(w{x}_i+b)\ge 1$

这样的话$y_i(w{x}_i+b)$的最小值就是1，随即转换为在约束条件下，求解$\frac{1}{|w|}$的最大值，实质上这个距离就是所谓的支持向量到超平面的距离，由前面推导的公式可得最终的超平面只跟支持向量有关，而支持向量就是数据样本的边界点。为了去掉绝对值，以及之后求导的方便，最终目标函数为：
      $\underset{w,b}{\min }\frac{1}{2}{w}^2$

       s.t. $y_i(w{x}_i+b)\ge 1$

函数求解

  优化目标函数的方法用到了拉格朗日乘数法，这方法将一个 n 个变量与 k 个条件的最优化问题转换为 n+k 个变量的极值问题，其变量不受任何约束。由于个人能力不足，这个拉格朗日乘数法的原理，我也是没有弄清楚，只能直接利用别人的结论。

  首先，将有约束的目标函数构造成无约束的拉格朗日目标函数：

    $L(w,b,\alpha )=\frac{1}{2}{w}^2-\sum _{i=1}^n{\alpha }_i[y_i(w{x}_i+b)-1]$
其中拉格朗日乘子${\alpha }_i\ge 0$，这个是拉格朗日乘数法的约束条件。
再令：

    $\theta (w,b)=\underset{{\alpha }_i\ge 0}{\max }L(w,b,\alpha )$

当样本点不满足约束条件，$y_i(w{x}_i+b)-1<0$时，将${\alpha }_i$取无穷大，则$\theta (w,b)$也无穷大。
当样本点满足约束条件，$y_i(w{x}_i+b)-1\ge 0$，${\alpha }_i$取0时，是目标函数本身$\frac{1}{2}{w}^2$。
合并起来后就得到了新的目标函数
    $\theta (w,b)=\{\begin{array}{ll}\frac{1}{2}{w}^2& \text{ , }x\in 可行区域\\ +\infty & \text{ , }x\in 不可行区域\end{array}$

对$\theta (w,b)$求最小值也是在求$\frac{1}{2}{w}^2$的最小值，于是原优化问题就等价于：

    $min\theta (w,b)=\underset{w,b}{\min }\underset{\alpha \ge 0}{\max }L(w,b,\alpha )=p\ast$

这样一个目标值函数，先求极大值再求极小值，这样的过程首先就要面对带有参数$w$和$b$参数的方程，而${\alpha }_i$又是一个不等式约束，这样的求解过程不好做。所以这里还需要应用拉格朗日函数的对偶性，把最大值和最小值的位置调换一下：

    $\underset{\alpha \ge 0}{\max }\underset{w,b}{\min }L(w,b,\alpha )=d\ast$

结论的证明过程倒是没有深究，这个结论我是直接参考支持向量机（SVM）——原理篇
要有$p\ast =d\ast$，还要满足两个条件：

1. 优化问题是一个凸优化问题
2. 满足KKT条件
   $\{\begin{array}{ll}{\alpha }_i\ge 0& \\ y_i(w{x}_i+b)-1\ge 0& \\ {\alpha }_i[y_i(w{x}_i+b)-1]=0& \end{array}$

至此，目标函数：
    $\underset{{\alpha }_i\ge 0}{\max }\underset{w,b}{\min }\frac{1}{2}{w}^2-\sum _{i=1}^n{\alpha }_i[y_i(w{x}_i+b)-1]$

约束条件为KKT条件

首先求最小值，对$w,b$分别求偏导，令偏导等于0

$\{\begin{array}{ll}w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i& \\ \sum _{i=1}^n{\alpha }_i{y}_i=0& \end{array}$

把求解的值再往原函数代，这里我勤快一点，一步一步的写下来：

 $\sum _{i=1}^n{\alpha }_i{y}_i{x}_i(\frac{1}{2}\sum _{i=1}^n{\alpha }_i{y}_i{x}_i-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i)-b\sum _{i=1}^n{\alpha }_i{y}_i+\sum _{i=1}^n{\alpha }_i$

$=-\frac{1}{2}\sum _{i=1}^n{\alpha }_i{y}_i{x}_i\sum _{i=1}^n{\alpha }_i{y}_i{x}_i+\sum _{i=1}^n{\alpha }_i$

$=-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j+\sum _{i=1}^n{\alpha }_i$

求解最大值再换成求解最小值问题

$\underset{{\alpha }_i\ge 0}{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i{x}_j-\sum _{i=1}^n{\alpha }_i$

$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0$

 ${\alpha }_i\ge 0,i=1,\dots ,n$

目标函数变成了特征向量之间的内积形式，一般的套路依然是对函数求偏导，再结合产生的约束条件，目标函数的极值是可求得。

根据这个算法求解得到α，在根据α求解得到w和b，就可以确定超平面$wx+b=0$
整理所有的约束条件
KKT：$\{\begin{array}{ll}{\alpha }_i\ge 0& \\ y_i(w{x}_i+b)-1\ge 0& \\ {\alpha }_i[y_i(w{x}_i+b)-1]=0& \end{array}$

$w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i$

$\sum _{i=1}^n{\alpha }_i{y}_i=0$

由上可知，必定存在一个${\alpha }_j>0$（反证法，若全为0，则$w$为0，矛盾）。对此有特征向量$j$，存在$y_j(w{x}_j+b)-1=0$，由此就能求出 b 的值。

$\{\begin{array}{ll}\mathbf{w}=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i& \\ b=y_j-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i{x}_j& \text{ , }j为支持向量特征点\end{array}$

  对于所有的训练数据集样本，必定存在${\alpha }_i=0$或$y_i(w{x}_i+b)-1=0$，对于${\alpha }_i=0$样本点，这部分数据点不会对$w$值有任何影响，$w$值只与${\alpha }_i\ne 0$的支持向量有关，这部分从几何上看就是数据样本的边界，所以不管样本数据量怎么改动，最终的支持向量只要不变，超平面就不会随之改变。

  求解完$w$和$b$之后，对于测试集特征向量$\mathbf{x}$，决策函数：
    $y=sign(\mathbf{w}\mathbf{x}+b)$

松弛变量

  实际情况并不存在完全可以分离的两类数据集，特别是对于存在噪声点的数据，所以引入“软间隔”的概念，允许存在某些点不满足约束。引用一张图片作为例子，蓝色点存在一个噪声，把这个噪声点作为边界的话，到超平面的几何间隔就会小很多，允许这个点不满足约束条件，那么间隔就会更宽。

  实际运用SVM算法会加入一个松弛变量，让约束条件不那么苛刻：
    $\underset{w,b,\xi }{\min }\frac{1}{2}{w}^2+C\sum _{i=1}^n{\xi }_i$

    $s.t.y_i(w{x}_i+b)\ge 1-{\xi }_i$

约束条件变得不那么严格，但是目标函数求最小值，限制了松弛变量也不能无穷无尽地变大。每一个变量都有一个${\xi }_i$参数，表示不同数据样本不满足约束条件的程度。C>0参数是一个惩罚项参数，当C越大，约束条件越严格，允许不满足约束的点的数量就更少。
  引入松弛变量之后，再用以上方法进行求解，新的拉格朗日函数：

$\underset{{\alpha }_i\ge 0}{\max }\underset{w,b,\xi }{\min }\frac{1}{2}{w}^2+C\sum _{i=1}^n{\xi }_i-\sum _{i=1}^n{\alpha }_i[y_i(w{x}_i+b)-1+{\xi }_i]-\sum _{i=1}^n{\omega }_i{\xi }_i$

分别对$w,b,\xi$求偏导，令偏导等于0：

$\{\begin{array}{ll}w=\sum _{i=1}^n{\alpha }_i{x}_i{y}_i& \\ \sum _{i=1}^n{\alpha }_i{y}_i=0& \\ C-{\alpha }_i-{\omega }_i=0& \text{ , }i=1,\dots ,n\end{array}$

代入之后得到的表达式，跟之前没有加入松弛变量推导的表达式相同：

$\underset{{\alpha }_i\ge 0}{\min }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{x}_i{x}_j{y}_i{y}_j-\sum _{i=1}^n{\alpha }_i$

与之前不同的地方在于，由于拉格朗日乘子${\omega }_i\ge 0$，所以${\alpha }_i\le C$，给定不同的惩罚项参数C之后就会求解得出不同的超平面，具体的取值可以在实际情况中依据交叉验证进行选择。

核函数

  前面所有的算法推导都是建立在决策边界是超平面的假设下进行的，当数据样本不是线性可分的时候，这个时候就需要将样本特征做一个映射处理，从低维空间映射到高维空间，这样就能用线性分类器对数据进行分类。
  从低维到高维映射，映射之后还需要做向量的内积求解α，新增的这两个过程就给计算机带来了很大的运算量，所以核函数就此应运而生，让特征向量不需要做显式映射，就能够得到映射之后的向量内积。

核函数定义：假设函数φ是向量从一个低维特征空间到高维特征空间的映射，对于任意的低维特征向量x和z，都有

      $k(x,z)=\varphi (x)\cdot \varphi (z)$

称$k(x,z)$为核函数。

引入核函数，既避免了高维特征空间中计算内积的恐怖计算量，又利用了样本在高维特征空间中线性可分的特性。核函数本质上是一个低维空间运算的结果，并没有采用从低维到高维的映射处理，但是等价于低维映射到高维之后再计算向量内积的值。

常用核函数：

• 线性核函数’ linear '。主要用于特征数量特别多，数据样本线性可分，速度快性能强。
• 高斯（RBF）核函数。应用比较广，能够实现低维向高维空间的处理。这个核函数应用比较广，无论大样本还是小样本都有很好的性能。
• sigmoid核函数。采用这个核函数，SVM就是一种多层神经网络。

大多情况面对的都是线性不可分的数据，需要的就是增加维度，降低样本数量跟特征数量之间的差距，达到线性可分。至于核函数的选择，我也直接在这里引用别人的结论（来自吴恩达的课堂）

1、如果特征的数量大到和样本数量差不多，则选用LR或者线性核的SVM；
2、如果特征的数量小，样本的数量正常，则选用SVM+高斯核函数；
3、如果特征的数量小，而样本的数量很大，则需要手工添加一些特征从而变成第一种情况

---

1. 超平面：二维空间是直线，三维空间是平面，三维以上空间就是超平面 ↩︎