SVM 公式推导

1.1. SVM

1.1.1. 支持向量机的基本型

思想:找到一个划分两类训练样本的超平面，并使间隔最大化。

（1）超平面:表达式
$${\mathbf{w}}^{\mathrm{T}}\mathbf{x}+b=0$$

（2）函数间隔
定义样本点$(x_i,y_i)$到超平面($\mathbf{w},b$)函数间隔为：
$$\widehat{{\gamma }_i}=y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)$$

函数间隔为正表明分类正确，负表明分类错误，因此函数间隔可以表示分类预测的正确性;
在超平面保持不变的情况下，等比例缩放$\mathbf{w}、b$,会导致函数间隔也等比例缩放，因此需要进行约束。

（3）几何间隔
样本点$(x_i,y_i)$到超平面($\mathbf{w},b$)几何间隔为：
$${\gamma }_i=\frac{\left|{\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_{\mathbf{i}}+b\right|}{\Vert \mathbf{w}\Vert }$$

几何间隔的物理含义是点到超平面的距离,即使超平面参数等比例发生变化，几何间隔仍保持不变

点到平面距离
若点坐标为$(x_0,y_0,z_0)$,平面为$Ax+By+Cz+D=0$,则点到平面的距离为
$$d=\left|\frac{A{x}_0+B{y}_0+C{z}_0+D}{\sqrt{A^2+B^2+C^2}}\right|$$

几何间隔与函数间隔关系：
$${\gamma }_i=\frac{\widehat{{\gamma }_i}}{\Vert \mathbf{w}\Vert }$$

(4) 间隔最大化
样本点到超平面的最小距离为
$$\gamma =\underset{i=1,...N}{\min }{\gamma }_i$$
要使间隔最大化，即求解下面的约束问题：
$$\begin{gathered} \underset{\mathbf{w},b}{\max }\gamma \\ \text{s.t. }\frac{y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)}{\Vert \mathbf{w}\Vert }⩾\gamma ,i=1,...N \end{gathered}$$

根据函数间隔和几何间隔的关系，得到
$$\begin{gathered} \underset{\mathbf{w},b}{\max }\frac{\hat{\gamma }}{\Vert \mathbf{w}\Vert } \\ \text{s.t. }{y}_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)⩾\hat{\gamma },i=1,...N \end{gathered}$$

$\hat{\gamma }$的改变不影响最优化问题的求解。为方便将$\hat{\gamma }=1$，于是得到优化目标$\frac{1}{\Vert \mathbf{w}\Vert }$。又因为最大化$\frac{1}{\Vert \mathbf{w}\Vert }$和最小化 $\frac{1}{2}\Vert \mathbf{w}{\Vert }^2$等价，所以：
$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}{\Vert \mathbf{w}\Vert }^2 \\ \text{s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)⩾1,i=1,2,\dots ,m \end{gathered}$$

1.1.2. 对偶问题

（1）构建拉格朗日函数
对SVM的基本型使用拉格朗日乘子法可以得到拉格朗日函数。即对每条约束添加拉格朗日乘子${\alpha }_i⩾0$.
$$L(\mathbf{w},b,\mathbf{\alpha })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)$$
原始目标函数转化成：
$$\underset{\mathbf{w},b}{\max }L(\mathbf{w},b,\alpha )$$

如果约束条件不满足，即出现$(1-y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b))>0$,令${\alpha }_i$趋近于无穷，目标函数取值也趋近于无穷。

对目标函数取最小值，原问题转化成：
$$\underset{\alpha }{\min }\underset{\mathbf{w},b}{\max }(L(\mathbf{w},b,\alpha ))$$

由于不满足约束条件的函数值为无穷大，因此取得的最小值必然满足约束条件

（2）转化为对偶问题

为什么转化为对偶问题？
1.对偶问题将原始问题中的约束转为了对偶问题中的等式约束
2.方便核函数的引入
3.改变了问题的复杂度。由求特征向量w转化为求比例系数a，在原始问题下，求解的复杂度与样本的维度有关，即w的维度。在对偶问题下，只与样本数量有关。

原始问题是极小极大问题，转化为对偶问题为极大极小问题。
$$\underset{\alpha }{\max }\underset{\mathbf{w},b}{\min }L(\mathbf{w},b,\alpha )$$

（3）计算${\min }_{\mathbf{w},b}L(\mathbf{w},b,\alpha )$

令$L(\mathbf{w},b,x)$对$\mathbf{w},b$的偏导为0
$$\frac{\partial L}{\partial \mathbf{w}}=\mathbf{w}-\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}=0$$
$$\frac{\partial L}{\partial b}=-\sum _{i=1}^m{\alpha }_i{y}_i=0$$
得
$$\mathbf{w}=\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}$$
$$\sum _{i=1}^m{\alpha }_i{y}_i=0$$
将$\mathbf{w}={\sum }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}$代入拉格朗日函数：
$$\begin{array}{rl}L(\mathbf{w},b,\mathbf{\alpha })& =\frac{1}{2}{\mathbf{w}}^T\mathbf{w}+\sum _{i=1}^m{\alpha }_i\left(1-y_i\left({\mathbf{w}}^{\mathrm{T}}{\mathbf{x}}_i+b\right)\right)\\ & =\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{{\mathbf{x}}_{\mathbf{i}}}^T\sum _{j=1}^m{\alpha }_j{y}_j{\mathbf{x}}_{\mathbf{j}}+\sum _{i=1}^m{\alpha }_i(1-y_i(\sum _{j=1}^m{\alpha }_j{y}_j{{\mathbf{x}}_{\mathbf{j}}}^T{\mathbf{x}}_{\mathbf{i}}+b))\\ & =\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{{\mathbf{x}}_{\mathbf{i}}}^T{\mathbf{x}}_{\mathbf{j}}+\sum _{i=1}^m{\alpha }_i-\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{{\mathbf{x}}_{\mathbf{i}}}^T{\mathbf{x}}_{\mathbf{j}}+b\sum _{i=1}^m{\alpha }_i{y}_i\\ & =\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{{\mathbf{x}}_{\mathbf{i}}}^T{\mathbf{x}}_{\mathbf{j}}\end{array}$$
（4）对偶问题
上式计算出来是满足条件的间隔，而我们的目标是间隔最大化，同时考虑到关于$\alpha$的约束条件，得到如下问题：
$$\underset{\mathbf{\alpha }}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j$$
$$\begin{array}{ll}\text{ s.t. }& {\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,m\end{array}$$

原始问题的最优解(${\mathbf{w}}^{\ast },b^{\ast }$)和对偶问题最优解(${\alpha }^{\ast }$)满足KKT条件时：
$$\{\begin{array}{l}{\alpha }_i⩾0\\ y_{i}f\left(x_i\right)-1⩾0\\ {\alpha }_i\left(y_{i}f\left({\mathbf{x}}_i\right)-1\right)=0\end{array}$$
二者的解相同。

$L(a,b,x)=f(x)+a\cdot g(x)+b\cdot h(x)$, 原始问题最优解$x^{\ast }$,对偶问题最优解$a^{\ast },b^{\ast }$.
KKT条件:
i. ${\nabla }_{x}L\left(a^{\ast },b^{\ast },x^{\ast }\right)=0,{\nabla }_{a}L\left(a^{\ast },b^{\ast },x^{\ast }\right)=0,{\nabla }_{b}L\left(a^{\ast },b^{\ast },x^{\ast }\right)=0$
ii. $a^{\ast }\cdot g_i\left(x^{\ast }\right)=0$
iii. $g_i\left(x^{\ast }\right)\le 0$
vi. $a_i^{\ast }\ge 0,h_j(x)=0$

(5) 求解结果
假设求解得到最优解的为${\alpha }^{\ast }$,则
$${\mathbf{w}}^{\ast }=\sum _{i=1}^m{\alpha }_i^{\ast }{y}_i{\mathbf{x}}_{\mathbf{i}}$$
$$b^{\ast }=\frac{1}{|S|}\sum _{s\in S}\left(y_s-\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_s\right)$$
于是超平面为:
$${\mathbf{w}}^{\ast }\mathbf{x}+b^{\ast }=0$$
决策函数为:
$$f(x)=sign({\mathbf{w}}^{\ast }\mathbf{x}+b^{\ast })$$

1.1.3. 软间隔

以上提出的支持向量机模型是线性的，对于线性不可分的数据不适用。线性不可分意味着部分样本不能满足函数间隔大于等于1的约束条件。为此，为每个样本点引入松弛变量${\xi }_i⩾0$,使得函数间隔加上松弛变量大于等于1，约束条件变成：
$$y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)⩾1-{\xi }_i$$
对每个松弛变量${\xi }_i$，支付一个代价${\xi }_i$,则目标函数变成：
$$\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i$$

C为惩罚系数。

（1）原始问题
引入软间隔之后，原始问题变成：
$$\begin{gathered} \underset{\mathbf{w},b,\xi }{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i \\ \text{s.t. }{y}_i({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)⩾1-{\xi }_i,i=1,...,m \\ {\xi }_i⩾0,i=1,...,m \end{gathered}$$

(2)对偶问题
先求出拉格朗日函数：
$$\begin{array}{r}L(\mathbf{w},b,\mathbf{\alpha },\mathbf{\xi },\mathbf{\mu })=\frac{1}{2}\Vert \mathbf{w}{\Vert }^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i\left(1-{\xi }_i-y_i\left({\mathbf{w}}^T{\mathbf{x}}_i+b\right)\right)-\sum _{i=1}^m{\mu }_i{\xi }_i\end{array}$$

再对$\mathbf{w},b,{\xi }_i$求偏导等于0得到：
$$\begin{array}{rl}w& =\sum _{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_i\\ 0& =\sum _{i=1}^m{\alpha }_i{y}_i\\ C& ={\alpha }_i+{\mu }_i\end{array}$$

最后得到对偶问题：
$$\begin{gathered} \underset{\mathbf{\alpha }}{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_i^{\mathrm{T}}{\mathbf{x}}_j \\ \text{s.t. }\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ 0⩽{\alpha }_i⩽C,i=1,2,\dots ,m \end{gathered}$$

相较于硬间隔支持向量机，${\alpha }_i$增加了一个约束C,其余相同.

KKT条件:
$$\{\begin{array}{l}{\alpha }_i⩾0,{\mu }_i⩾0\\ y_{i}f\left({\mathbf{x}}_i\right)-1+{\xi }_i⩾0\\ {\alpha }_i\left(y_{i}f\left({\mathbf{x}}_i\right)-1+{\xi }_i\right)=0\\ {\xi }_i⩾0,{\mu }_i{\xi }_i=0\end{array}$$

1.1.4. 核函数

(1)核技巧
对于非线性分类问题,首先使用一个变换将原空间的数据映射到新空间,然后再新空间里用线性分类学习方法从训练数据中学习分类模型.

(2)核函数
核函数与映射函数的关系
设$X$是输入空间,$H$是特征空间(希尔伯特空间),如果存在一个从$X$到$H$的映射,
$$\varphi (x):X\to H$$
使得对于所有的$x,z\in X$,函数$K(x,z)$满足条件
$$K(x,z)=\varphi (x{)}^T\cdot \varphi (z)$$
则成$K(x,z)$为核函数.
在实际使用中,只定义核函数,不显性定义映射.因为映射后的空间维数可能很高,直接计算$\varphi (x{)}^T\cdot \varphi (z)$通常很困难.由于计算结果是一个数,因此可以使用核函数来替代映射内积的结果

(3)原始问题:
$$\begin{gathered} \underset{\mathbf{w},b}{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2 \\ \text{ s.t. }{y}_i\left({\mathbf{w}}^{\mathrm{T}}\varphi \left({\mathbf{x}}_i\right)+b\right)⩾1,i=1,2,\dots ,m \end{gathered}$$

(4)对偶问题
$$\begin{array}{cl}{\max }_{\alpha }& {\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa \left({\mathbf{x}}_i,{\mathbf{x}}_j\right)\\ \text{ s.t. }& {\sum }_{i=1}^m{\alpha }_i{y}_i=0\\ & {\alpha }_i⩾0,i=1,2,\dots ,m\end{array}$$

(5)决策平面
$$\begin{array}{rl}f(\mathbf{x})& ={\mathbf{w}}^{\mathrm{T}}\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\varphi {\left({\mathbf{x}}_i\right)}^{\mathrm{T}}\varphi (\mathbf{x})+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i\kappa \left(\mathbf{x},{\mathbf{x}}_i\right)+b\end{array}$$

(6)常用核函数
[外链图片转存失败(img-5QuHpX0x-1562658199123)(https://raw.githubusercontent.com/EEEGUI/ImageBed/master/img/fig_065.png)]