支持向量机公式推导（一）

1. 支持向量机概述

支持向量机学习方法包含构建由简至繁的模型：线性可分支持向量机 、线性支持向量机以及非线性支持向量机 。简单模型是复杂模型的基础，也是复杂模型的特殊情况。当训练数据线性可分时，通过硬间隔最大化 ， 学习一个线性的分类器，即线性可分支持向量机，又称为硬间隔支持向量机；当训练数据近似线性可分时，通过软间隔最大化，也学习一个线性的分类器，即线性支持向量机，又称为软间隔支持向量机； 当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

2. 函数间隔与几何间隔

对于给定的训练数据集 $T$ 和超平面 $(w,b)$，定义超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$ 的函数间隔为
$${\gamma }_i=y(w^{T}x+b)$$在这类定义下，训练集中不同的点就有不同的函数间隔，我们规定训练集 $T$ 关于超平面 $(w,b)$ 的函数间隔为训练集样本中函数间隔的最小值，即
$$\gamma =\underset{i=1,\cdots ,N}{\min }{\gamma }_i$$

函数间隔可以表示分类预测的正确性及确信度。但是选择分离超平面时，只有函数间隔还不够。因为只要成比例地改变 $w$ 和 $b$, 例如将它们改为 $2w$ 和 $2b$ , 超平面并没有改变，但函数间隔却成为原来的 $2$ 倍，由此我们定义出几何间隔的概念。

对于给定的训练数据集T 和超平面 $(w,b)$ ，定义超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$ 的几何间隔为
$$\hat{\gamma }=\frac{y(w^{T}x+b)}{||w|{|}_2}=\frac{{\gamma }_i}{||w|{|}_2}$$ $||w|{|}_2$ 表示为 $w$ 的 $L_2$ 范数。

3. 硬间隔最大化算法

3.1 最大间隔算法

对线性可分的训练数据集而言，线性可分分离超平面有无穷多个（等价于感知机），但是几何间隔最大的分离超平面是唯一的。这里的间隔最大化又称为硬间隔最大化。下面的算法就是根据使硬间隔最大来进行划分的。

使用最大间隔来求得的超平面，其可以表示如下：
$$\underset{w,b}{\max }\gamma$$ $$s.t.\frac{y_i(w^T{x}_i+b)}{||w|{|}_2}\ge \gamma ,i=1,2,\cdots ,N$$考虑几何间隔和函数间隔的关系式，可将这个问题改写为
$$\underset{w,b}{\max }\frac{\hat{\gamma }}{||w|{|}_2}$$$$s.t.y_i(w^T{x}_i+b)\ge \hat{\gamma },i=1,2,\cdots ,N$$函数间隔并不影响最优化问题的解。这样，我们可以取 $\hat{\gamma }=1$ 并将其带入上面的式子，并且我们发现最大化 $\frac{1}{||w||}$ 与最小化 $\frac{1}{2}||w|{|}^2$ 是一样的效果，所以要求的式子可以等价为：
$$\underset{w,b}{\max }\frac{1}{2}||w|{|}^2$$ $$s.t.y_i(w^T{x}_i+b)-1\ge 0,i=1,2,\cdots ,N$$这是一个凸优化的问题，可以列式求得最优解。

示例如下：

3.2 算法局限

有时候本来数据的确是可分的，也就是说可以用 线性分类SVM的学习方法来求解，但是却因为混入了异常点，导致不能线性可分，比如下图，本来数据是可以按下面的实线来做超平面分离的，可以由于一个橙色和一个蓝色的异常点导致我们没法按照上一篇线性支持向量机中的方法来分类。

另外一种情况没有这么糟糕到不可分，但是会严重影响我们模型的泛化预测效果，比如下图，本来如果我们不考虑异常点，SVM的超平面应该是下图中的红色线所示，但是由于有一个蓝色的异常点，导致我们学习到的超平面是下图中的粗虚线所示，这样会严重影响我们的分类模型预测效果。

4. 软间隔最大算法

4.1 原始约束

软间隔为每个样本 $(x_i,y_i)$ 引入了一个松弛变量 ${\xi }_i\ge 0$ ，使函数间隔加上松弛变量大于等于1，这样，约束条件就变为了
$$y_i(w^T{x}_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N$$当然，松弛变量不能白加，这是有成本的，对每一个松弛变量 ${\xi }_i$ ，支付一个代价 ${\xi }_i$ ，所以，损失函数就变为了
$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$这里，$C>0$ 为惩罚参数，可以理解为我们一般回归和分类问题正则化时候的参数。$C$ 越大，对误分类的惩罚越大，$C$ 越小，对误分类的惩罚越小。

原始问题相当于就是解如下问题：
$$\underset{w,b,\xi }{\max }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$$$\begin{array}{rl}s.t.& y_i(w^T{x}_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N\\ & {\xi }_i\ge 0(i=1,2,...m)\end{array}$$直接解就行，但是，为了让问题能够方便计算，我们一般使用如下的对偶形式。

4.2 拉格朗日对偶性

设约束最优问题如下所示
$$\begin{array}{rl}& minf(x)\\ s.t.& c_i(x)\le 0,i=1,\cdots ,n\\ & h_i(x)=0,j=1,\cdots ,m\end{array}$$此时有 $n$ 个不等式约束， $m$ 个等式约束，此时可以构造广义拉格朗日函数：
$$L(x,\alpha ,\beta ,)=f(x)+\sum _{i=1}^n{\alpha }_i{c}_i(x)+\sum _{i=1}^m{\beta }_i{h}_i(x)$$其中， $\alpha ,\beta$ 是拉格朗日乘子，均大于等于0。

可以证明出来，以下两个问题是等价的：
$$\min f(x)=\min \max L(x,\alpha ,\beta )$$其对偶问题为
$$\max \min L(x,\alpha ,\beta )$$

4.3 优化目标函数

将支持向量机的约束带入上面的拉格朗日约束可以得到：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}_2^2+C\sum _{i=1}^m{\xi }_i-\sum _{i=1}^m{\alpha }_i[y_i(w^T{x}_i+b)-1+{\xi }_i]-\sum _{i=1}^m{\mu }_i{\xi }_i$$其中 ${\mu }_i\ge 0,{\alpha }_i\ge 0$。

需要求的该函数的对偶式如下：
$$\underset{{\alpha }_i\ge 0,{\mu }_i\ge 0,}{\underbrace{max}}\underset{w,b,\xi }{\underbrace{min}}L(w,b,\alpha ,\xi ,\mu )$$首先我们来求优化函数对于 $w,b,\xi$ 的极小值，这个可以通过求偏导数求得：
$$\frac{\partial L}{\partial w}=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i$$$$\frac{\partial L}{\partial b}=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}_i=0$$$$\frac{\partial L}{\partial \xi }=0\Rightarrow C-{\alpha }_i-{\mu }_i=0$$然后利用上面的三个式子可以消去 $w,b$
$$\begin{array}{rl}L(w,b,\xi ,\alpha ,\mu )& =\frac{1}{2}||w|{|}_2^2+C\sum _{i=1}^m{\xi }_i-\sum _{i=1}^m{\alpha }_i[y_i(w^T{x}_i+b)-1+{\xi }_i]-\sum _{i=1}^m{\mu }_i{\xi }_i\\ & =\frac{1}{2}||w|{|}_2^2-\sum _{i=1}^m{\alpha }_i[y_i(w^T{x}_i+b)-1+{\xi }_i]+\sum _{i=1}^m{\alpha }_i{\xi }_i(\because C-{\alpha }_i-{\mu }_i=0)\\ & =\frac{1}{2}||w|{|}_2^2-\sum _{i=1}^m{\alpha }_i[y_i(w^T{x}_i+b)-1]\\ & =\frac{1}{2}{w}^{T}w-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i(\because ||w|{|}_2^2=w^{T}w)\\ & =\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i(\because w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i)\\ & =\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-w^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}(\sum _{i=1}^m{\alpha }_i{y}_i{x}_i{)}^T(\sum _{i=1}^m{\alpha }_i{y}_i{x}_i)-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i(\because w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i)\\ & =-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i+\sum _{i=1}^m{\alpha }_i(\because \sum _{i=1}^m{\alpha }_i{y}_i=0)\\ & =-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{y}_i{x}_i^T{\alpha }_j{y}_j{x}_j+\sum _{i=1}^m{\alpha }_i(\because (a+b+c+\dots )(a+b+c+\dots )=aa+ab+ac+ba+bb+bc+\dots )\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\end{array}$$所以，我们的优化与约束就成了下面的式子：
$$\underset{\alpha }{\underbrace{min}}\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i$$$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0$$$$0\le {\alpha }_i\le C$$

4.4 软间隔对偶算法流程

1. 选择惩罚参数 $C>0$ , 构造并求解凸二次规划问题$$\underset{\alpha }{\underbrace{min}}\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum _{i=1}^m{\alpha }_i$$$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0$$$$0\le {\alpha }_i\le C$$求得最优解 ${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\cdots ,{\alpha }_N^{\ast })$
2. 计算 $w^{\ast }={\sum }_{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$
   选择 ${\alpha }^{\ast }$ 一个分量 ${\alpha }_j^{\ast }$ 并满足条件 $0\le {\alpha }_j^{\ast }\le C$，计算
   $$b_s^{\ast }=y_s-\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T{x}_s$$
3. 求得分离超平面 $w^{\ast }\cdot x+b^{\ast }=0$，分类决策函数为 $f(x)=sign(w^{\ast }\cdot x+b^{\ast })$。

实际上求得 ${\alpha }^{\ast }$ 的过程用到的是SMO算法，该算法在下节将会讲到。

参考文章
[1] https://www.cnblogs.com/pinard/p/6100722.html