最最最最最详细的SVM学习笔记(非线性的推广)

前言

朋友们好呀，五一快乐~。上次我们介绍了SVM的线性模型（最最最最最详细的SVM学习笔记（线性模型篇）），今天给大家介绍SVM的非线性模型，非线性模型相比于线性模型要难许多，不过我会尽可能最最最最最最详细的讲清楚滴。

非线性的推广

线性优化模型的改进

还记得线性情况下我们得到的优化模型嘛:
$$\begin{gathered} min\frac{1}{2}||\mathbf{w}|{|}^2 \\ subjectto:y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)\ge 1 \end{gathered}$$
上一节我们讲述了它的作用是在线性可分的样本集中找到一个超平面，使其到两类样本的支持向量的距离最大，从而划分两类样本，我们还讲述了线性可分和线性不可分，下面我们考虑这样的样本集：
可以看到我们没有办法用一条直线划分两类样本，因此这是很显然的线性不可分情况，但是这似乎与线性可分的情况差别的不大，可以看到，导致我们不能线性可分或者说阻碍我们线性可分的“罪魁祸首”是在两类样本交界面上的个别样本，如果我们可以忽略这些阻碍我们的样本不就能让它线性可分了嘛。事实上，在实际情况中，这样的样本往往处在两类别的交界，我们很难精确的将他们分类，如果我们可以选择性的忽略它们，我们依旧可以建立出对于绝大多数其他样本都适用的模型。这也是抓住主要矛盾忽略次要矛盾的思想，于是我们引入一个新变量，松弛变量$\mathbf{\xi }$来完成这件事，需要注意的是$\mathbf{\xi }$是一个未知的向量。
加入$\mathbf{\xi }$后我们的优化模型将变成如下形式：
$$\begin{gathered} min\frac{1}{2}||\mathbf{w}|{|}^2+\frac{1}{C}\sum _{i=1}^n{\xi }_i \\ subjectto:y_i({\mathbf{w}}^T{\mathbf{x}}_{\mathbf{i}}+b)\ge 1-{\xi }_i \\ {\xi }_i>0 \end{gathered}$$
我们对于每个样本的限制条件的左边加上了一个大于0的正数${\xi }_i$,可以这样理解，当我们要把超平面向上平移时，我们加一个正数，向下时加一个负数，由于约束条件限制当我们向下或向上平移时我们都得乘括号外面的$y_i$,乘出来的结果是恒正的（$y_i$与加的数同号），我们把他写到括号外面，这就是${\xi }_i$。${\xi }_i$越大，移动的就越多。而在两条平移直线之间的样本，我们就可以忽视它，于是处理后我们就可以像下面这幅图这样找间隔（margin）。

可以看到，我们找支持向量时忽略了中间两个样本。当然，我们这样的移动不可能是无限制的，考虑极端情况，${\xi }_i$很大很大时，相当于把所有样本都纳了进去，如果这样，我们的模型将无意义。于是我们加上令${\xi }_i$和最小的优化目标。这里有一个参数$C$是正则化系数，是我们提前设置好的，不同的$C$影响下我们忽略的样本数不同，实际情况下我们可以利用超参数网格搜索和交叉验证等方法来选择性能最好的$C$。

高维映射

对于一些线性不可分样本，上面的改进就已经足够，然而对于更广泛的情况，比如像这样：

无论我们怎么改进都很难找到一个超平面去完成划分。对于这种情况我们怎么处理呢？SVM的创始人很聪明，他想到，在当前维度不能够线性可分，如果在更高的维度是不是可以线性划分了呢？事实上，他的想法很正确，数学家们已经证明，对于低维空间不可被线性划分的样本，在更高维度被线性可分的概率将增大，当维度趋于无限时，线性可分的概率将趋于1。那么，我们能不能有某一个映射$\varphi (\mathbf{x})$将低维样本映射到更高维度，然后完成线性分类任务呢？
我们看一个例子，二维下
$$\begin{gathered} {\mathbf{x}}_1=[00{]}^T \\ {\mathbf{x}}_2=[11{]}^T \\ {\mathbf{x}}_3=[10{]}^T \\ {\mathbf{x}}_4=[01{]}^T \end{gathered}$$
如图：

某映射$\varphi (\mathbf{x})$满足:
$$\varphi ([ab{]}^T)=[a^2{b}^{2}abab{]}^T$$
这是一个将二维转化为五维的映射，我们可以计算出：
$$\begin{gathered} \varphi ({\mathbf{x}}_1)=[00000{]}^T \\ \varphi ({\mathbf{x}}_2)=[11111{]}^T \\ \varphi ({\mathbf{x}}_3)=[10100{]}^T \\ \varphi ({\mathbf{x}}_4)=[01010{]}^T \end{gathered}$$
这里给出一个可以把他们分开的超平面，这样的平面有很多，这里给出一个，并且不一定是最优，只是说明它可以被线性划分。
当$\mathbf{w}=[-1-1-1-10{]}^T$,$b=1$时：
$$\begin{gathered} {\mathbf{w}}^T\varphi ({\mathbf{x}}_1)+b=1>0 \\ {\mathbf{w}}^T\varphi ({\mathbf{x}}_2)+b=3>0 \\ {\mathbf{w}}^T\varphi ({\mathbf{x}}_3)+b=-1<0 \\ {\mathbf{w}}^T\varphi ({\mathbf{x}}_4)+b=-1<0 \end{gathered}$$
我们很神奇的发现原本在二维平面不可被线性划分的样本居然可以在五维时能够被分开!

核函数

事实上，对于维数较多的样本集，我们很难找到显式的$\varphi (\mathbf{x})$进行升维，即便我们能够升维，升到什么情况合适？升维后的问题在计算机算法有限时间内是否可解？这些都是难以解决的问题。SVM的创始人聪明的回避的这一点，在他最开始的假设中，$\varphi (\mathbf{x})$就是一个能够将当前样本集映射为无限维度样本集的映射，而我们能够在不知道$\varphi (\mathbf{x})$显式表达式情况下依然对问题进行求解，怎么做呢？
数学上已经证明了对于无限维映射$\varphi (\mathbf{x})$，存在函数$K({\mathbf{x}}_1,{\mathbf{x}}_2)$,有：
$$K({\mathbf{x}}_1,{\mathbf{x}}_2)={\varphi }^T({\mathbf{x}}_1)\varphi ({\mathbf{x}}_2)$$
我们把这样的函数称为核函数（kernel function）。
常见的函数有很多，包括高斯核函数：
$$K({\mathbf{x}}_1,{\mathbf{x}}_2)=e^{-\frac{||{\mathbf{x}}_1-{\mathbf{x}}_2|{|}^2}{2{\sigma }^2}}$$
多项式核函数：
$$K({\mathbf{x}}_1,{\mathbf{x}}_2)=({{\mathbf{x}}_1}^T{\mathbf{x}}_2+1{)}^p$$
等。在实际使用时，对于不同的场景和需求不同的核函数会有不同的效果。
我们的目的就是用核函数代替$\varphi (\mathbf{x})$，使得问题可解，但在此之前，我们需要介绍一个优化理论的中的概念。

原问题与对偶问题

在优化理论中，原问题是这样描述的：
$$\begin{gathered} minf(\mathbf{w}) \\ \begin{array}{r}subjectto:g_i(\mathbf{w})\le 0(i=1,2,...,k)\\ h_i(\mathbf{w})=0(i=1,2...,m)\end{array} \end{gathered}$$

拉格朗日函数

在讨论它的对偶问题之前,我们先定义这样一个函数：
$$L(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })=f(\mathbf{w})+\sum _{i=1}^k{\alpha }_i{g}_i(\mathbf{w})+\sum _{i=1}^m{\beta }_i{h}_i(\mathbf{w})$$
写成向量形式就是：
$$L(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })=f(\mathbf{w})+{\mathbf{\alpha }}^{T}g(\mathbf{w})+{\mathbf{\beta }}^{T}h(\mathbf{w})$$
这里的$g(\mathbf{w})$和$h(\mathbf{w})$没有带角标，也就是说它们都是向量形式。学过高等数学多元函数极值的同学很容易看出来，前面是目标函数，后面是系数乘以约束条件，这不就是利用拉格朗日乘数法构造的拉格朗日函数嘛，只是这里的约束条件很多，我们可以写成向量形式而已。

对偶问题

我们这样定义上述原问题的对偶问题：
m a x   θ ( α , β ) = i n f a l l   w { L ( w , α , β ) } s u b j e c t   t o : α i ≥ 0   ( i = 1 , 2 , . . . , k ) max~\theta(\bm{\alpha,\beta})=inf_{all~\bm{}w}\{L(\bm{w,\alpha,\beta})\}\\subject~to:\alpha_i\ge0~(i=1,2,...,k) max θ(α,β)=infall w​{L(w,α,β)}subject to:αi​≥0 (i=1,2,...,k)
$inf$表示求最小值，这里的意思就是，对于给定的$\mathbf{\alpha }$和$\mathbf{\beta }$,固定其不变，找到某一个$\mathbf{w}$使得拉格朗日函数最小，而我们的目标就是在使得这个最小值最大的情况下结合限制条件求$\mathbf{w}$,$\mathbf{\alpha }$和$\mathbf{\beta }$。

强对偶定理与KKT条件

我们有如下定理：
如果$\mathbf{w}\ast$是原问题的解，$\mathbf{\alpha }\ast$和$\mathbf{\beta }\ast$是对偶问题的解，那么：
$$f(\mathbf{w}\ast )\ge \theta (\mathbf{\alpha }\ast ,\mathbf{\beta }\ast )$$
这件事情的证明并不困难，我们知道：
θ ( α ∗ , β ∗ ) = i n f a l l   w { L ( w , α ∗ , β ∗ ) } ≤ L ( w ∗ , α ∗ , β ∗ ) = f ( w ) + ( α ∗ ) T g ( w ∗ ) + ( β ∗ ) T h ( w ∗ ) \begin{aligned}\theta(\bm{\alpha}*,\bm{\beta}*)=inf_{all~\bm{}w}\{L(\bm{w,\alpha}*,{\bm{\beta}}*)\}{\le}L(\bm{w*,\alpha*,\beta*})=f(\bm{w})+(\bm{\alpha}*)^Tg(\bm{w*})+(\bm{\beta}*)^Th(\bm{w*})\end{aligned} θ(α∗,β∗)=infall w​{L(w,α∗,β∗)}≤L(w∗,α∗,β∗)=f(w)+(α∗)Tg(w∗)+(β∗)Th(w∗)​
而$h(\mathbf{w}\ast )=0$，$(\mathbf{\alpha }\ast {)}^{T}g(\mathbf{w}\ast )\le 0$(翻看上面的约束条件可以很容易得到)，因此：
$$f(\mathbf{w}\ast )\ge \theta (\mathbf{\alpha }\ast ,\mathbf{\beta }\ast )$$
如果我们定义：
$$G=f(\mathbf{w}\ast )-\theta (\mathbf{\alpha }\ast ,\mathbf{\beta }\ast )$$
那么我们把$G$就叫做原问题与对偶问题的间距，对于某些特定的优化问题我们可以证明$G=0$。
我们再介绍优化理论中的另一个定理——强对偶定理：
如果$f(\mathbf{w})$是凸函数（凸函数就是极值点就是最值点的，即局部最优解等于全局最优解的函数），且$g(\mathbf{w})=a\mathbf{w}+b,h(\mathbf{w})=c\mathbf{w}+d$,那么:
$$G=0$$
也就是说:
$$f(\mathbf{w}\ast )=\theta (\mathbf{\alpha }\ast ,\mathbf{\beta }\ast )$$
还记得我们有一项：$(\mathbf{\alpha }\ast {)}^{T}g(\mathbf{w}\ast )\le 0$嘛，此时它是严格等于0的，那么就有要么：
$${\alpha }_i\ast =0$$
要么：
$$g_i(\mathbf{w}\ast )=0$$
我们把上述条件称为KKT条件。
上述定理的证明什么的大家可以参考优化理论的教材，其在数学上是严格证明了的，这里只是介绍与应用。

SVM非线性优化的原问题与对偶问题

补充了相关的优化理论知识后，让我们回归原题，我们对照着优化理论中的原问题把我们的非线性优化问题写出来：
$$\begin{array}{r}min\frac{1}{2}||\mathbf{w}|{|}^2-C\sum _{i=1}^n{\xi }_i\\ subjectto:\begin{array}{r}1+{\xi }_i-y_i{\mathbf{w}}^T\varphi ({\mathbf{x}}_{\mathbf{i}})-y_{i}b\le 0\\ {\xi }_i\le 0\end{array}\end{array}$$
我们只干了两件事，先令现在的${\xi }_i$为原来${\xi }_i$前面加上一个负号，然后移向化成对应的形式，注意这里我们用$\varphi ({\mathbf{x}}_{\mathbf{i}})$代替了${\mathbf{x}}_{\mathbf{i}}$。需要明确的是，我们这里一一对应过去会发现没有$h_i(\mathbf{w})$,有两个不同的$g_i(\mathbf{w})$和$g_j(\mathbf{w})$，二者都为$n$个限制条件。
我们可以一项一项对照着上面的形式写出其对偶问题：
m a x   θ ( α , β ) = i n f a l l   w , ξ i , b { 1 2 ∣ ∣ w ∣ ∣ 2 − C ∑ i = 1 n ξ i + ∑ i = 1 n β i ξ i + ∑ i = 1 n α i [ 1 + ξ i − y i w T ϕ ( x i ) − y i b ] } s u b j e c t   t o : α i ≥ 0 β i ≥ 0 max~\theta(\bm{\alpha,\beta})=inf_{all~w,\xi_i,b}\{\frac12||\bm{w}||^2-C\sum_{i=1}^{n}{\xi_i}+\sum_{i=1}^{n}\beta_i\xi_i+\sum_{i=1}^{n}\alpha_i[1+\xi_i-y_i\bm{w}^T\phi(\bm{x_i})-y_ib]\}\\subject~to:\begin{aligned}\alpha_i\ge0\\\beta_i\ge0\end{aligned} max θ(α,β)=infall w,ξi​,b​{21​∣∣w∣∣2−Ci=1∑n​ξi​+i=1∑n​βi​ξi​+i=1∑n​αi​[1+ξi​−yi​wTϕ(xi​)−yi​b]}subject to:αi​≥0βi​≥0​
我们需要注意以下几点：
1，优化理论模型中的$\mathbf{w}$现在对应的是$(\mathbf{w},{\xi }_i,b)$
2，优化理论模型中的$\mathbf{\alpha }$现在对应的是$\mathbf{\alpha }$和$\mathbf{\beta }$,$\mathbf{\beta }$则没有对应，因为这里没有没有$h_i(\mathbf{w})=0$的条件了

对偶问题的求导

$\theta (\mathbf{\alpha },\mathbf{\beta })$是一个求拉格朗日函数的最小值，我们可以证明这里拉格朗日函数是一个凸函数，因此，局部解就等于全局解，我们必然可以利用对各项偏导数为0的方法求出$\theta (\mathbf{\alpha },\mathbf{\beta })$,令：
$$L_{\mathbf{w}}^{{}^{\prime }}(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })=L_{{\xi }_i}^{{}^{\prime }}(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })=L_b^{{}^{\prime }}(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })=0$$
于是我们可以求出：
$$\begin{gathered} L_{\mathbf{w}}^{{}^{\prime }}(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })=\mathbf{w}-\sum _{i=1}^n{\alpha }_i{y}_i\varphi ({\mathbf{x}}_{\mathbf{i}})=0 \\ {L}_{{\xi }_i}^{{}^{\prime }}(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })=-C+{\beta }_i+{\alpha }_i=0 \\ {L}_b^{{}^{\prime }}(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })=-\sum _{i=i}^n{\alpha }_i{y}_i=0 \end{gathered}$$
再将求得的条件带回$L(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })$,就可以求出：
$$\theta (\mathbf{\alpha },\mathbf{\beta })=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{\varphi }^T({\mathbf{x}}_{\mathbf{i}})\varphi ({\mathbf{x}}_{\mathbf{j}})$$
这个时候我们的核函数就派上用场啦，于是上面式子可以写成如下形式：
$$\theta (\mathbf{\alpha },\mathbf{\beta })=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})$$
上面的求导和带入步骤并不困难，但是限于篇幅这里就不给出啦，感兴趣的同学可以自己求一遍，需要注意对向量的求导法则，例如;
$$\begin{gathered} {\mathbf{w}}^T=[w_1{w}_2,...,w_n] \\ {f}_{\mathbf{w}}^{{}^{\prime }}(\mathbf{w})=[f_{w_1}^{{}^{\prime }},f_{w_2}^{{}^{\prime }},...,f_{w_n}^{{}^{\prime }}{]}^T \end{gathered}$$
若$f(\mathbf{w})=\frac{1}{2}||\mathbf{w}|{|}^2$,则：
$$f_{\mathbf{w}}^{{}^{\prime }}(\mathbf{w})=\mathbf{w}$$
若$f(\mathbf{w})={\mathbf{w}}^T\mathbf{x}$,则：
$$f_{\mathbf{w}}^{{}^{\prime }}(\mathbf{w})=\mathbf{x}$$

SVM非线性模型的目标优化

通过上面的推导，我们可以得到非线性模型的对偶问题的目标函数：
$$max\theta (\mathbf{\alpha },\mathbf{\beta })=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})$$
约束条件是怎么来的呢，原本我们有：
$$subjectto:\begin{array}{r}{\alpha }_i\ge 0\\ {\beta }_i\ge 0\end{array}$$
我们考虑这个式子：
$$L_{{\xi }_i}^{{}^{\prime }}(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })=-C+{\beta }_i+{\alpha }_i=0$$
由于我们的目标优化中没有了${\beta }_i$,我们只考虑${\alpha }_i$,联立求解就可以得到：
$$0\le {\alpha }_i\le C$$
再加上：
$$L_b^{{}^{\prime }}(\mathbf{w},\mathbf{\alpha },\mathbf{\beta })=-\sum _{i=i}^n{\alpha }_i{y}_i=0$$
于是我们的优化模型就是：
$$\begin{gathered} max\theta (\mathbf{\alpha },\mathbf{\beta })=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}}) \\ subjectto:\begin{array}{r}0\le {\alpha }_i\le C\\ \sum _{i=1}^n{\alpha }_i{y}_i=0\end{array} \end{gathered}$$

SVM模型的训练过程与预测方法

需要注意的是，我们的优化模型中${\mathbf{x}}_{\mathbf{n}}$和$y_i$是已知的，$\mathbf{\alpha }$是未知的，把上面的优化问题扔给计算机我们就可以求出$\mathbf{\alpha }$，至于求出以后我们怎么样预测新样本呢？
考虑这样一件事，当我们来了一个待预测样本${\mathbf{x}}_{new}$,
$$\begin{gathered} if:{\mathbf{w}}^T\varphi ({\mathbf{x}}_{new})+b\ge 0,y=+1 \\ else:y=-1 \end{gathered}$$
我们可以不知道$\mathbf{w}$,但我们必须知道${\mathbf{w}}^T\varphi ({\mathbf{x}}_{new})+b$，怎么求呢？
$$\begin{gathered} {\mathbf{w}}^T\varphi ({\mathbf{x}}_{new})=\sum _{i=1}^n[{\alpha }_i{y}_i\varphi ({\mathbf{x}}_i){]}^T\varphi ({\mathbf{x}}_{new})=\sum _{i=1}^n{\alpha }_i{y}_i\varphi ({\mathbf{x}}_i{)}^T\varphi ({\mathbf{x}}_{new}) \\ =\sum _{i=1}^n{\alpha }_i{y}_{i}K({\mathbf{x}}_i,{\mathbf{x}}_{new}) \end{gathered}$$
结合求偏导后的条件，上面的推导是显然的。
那么$b$怎么求呢？还记得优化理论中的KKT条件嘛，对应到SVM实际问题中，我们对于任意的$i=1,2,...,n$就有如下描述：
1、要么：
$${\beta }_i=0$$
要么：
$${\xi }_i=0$$
2、要么：
$${\alpha }_i=0$$
要么：
$$1+{\xi }_i-y_i{\mathbf{w}}^T\varphi ({\mathbf{x}}_{\mathbf{i}})-y_{i}b=0$$
有两个KKT条件是因为我们相比于优化理论中的模型没有等于零的约束而有两个小于零的约束（这个已经强调很多次啦，一定要记住）。于是我们可以这样求$b$:
$$取0<{\alpha }_i<C\Rightarrow {\beta }_i=C-{\alpha }_i>0\Rightarrow {\xi }_i=0$$
$${\alpha }_i>0\Rightarrow 1+{\xi }_i-y_i{\mathbf{w}}^T\varphi ({\mathbf{x}}_{\mathbf{i}})-y_{i}b=0$$
于是：
$$\begin{gathered} b=\frac{1-y_i{\mathbf{w}}^T\varphi ({\mathbf{x}}_i)}{y_i}=\frac{1-y_i{\sum }_{j=1}^n({\alpha }_j{y}_j\varphi ({\mathbf{x}}_j{)}^T)\varphi ({\mathbf{x}}_i)}{y_i} \\ =\frac{1-y_i{\sum }_{j=1}^n{\alpha }_j{y}_{j}K({\mathbf{x}}_i,{\mathbf{x}}_j)}{y_i} \end{gathered}$$
一般来说，对于不同的$0<{\alpha }_i<C$,都有一个不同的${\mathbf{x}}_i$和$y_i$,于是有不同的$b$,在工程实践中往往是求出所有的$b$取平均，事实证明这样做效果会最好。
于是SVM算法的流程就可以总结如下：

1. 训练流程，输入 { x i , y i } （ i = 1 ， 2 , . . . , n ） \{\bm{x}_i,y_i\}（i=1，2,...,n） {xi​,yi​}（i=1，2,...,n）,求解：$$\begin{gathered} max\theta (\mathbf{\alpha },\mathbf{\beta })=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_{j}K({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}}) \\ subjectto:\begin{array}{r}0\le {\alpha }_i\le C\\ \sum _{i=1}^n{\alpha }_i{y}_i=0\end{array} \end{gathered}$$算出$\mathbf{\alpha }$。
2. 求出$b$
3. 测试流程，先算出${\mathbf{w}}^T\varphi ({\mathbf{x}}_{new})$,而后：$$\begin{gathered} if:{\mathbf{w}}^T\varphi ({\mathbf{x}}_{new})+b\ge 0,y=+1 \\ else:y=-1 \end{gathered}$$

后记

以上就是SVM算法的全部内容啦，事实上与SVM相似的SVR（Ｓurport Vector Regression）和上述过程完全类似，只是，当我们找最大间隔时是分类问题，如果我们找最小间隔呢？那就将变成回归拟合的问题啦，感兴趣的同学可以照着上面的过程推导一下。下次将更新神经网络模型，再见啦〜