每日算法（一）——二分类模型——SVM算法原理详解

欢迎小朋友们来到每日算法幼儿园，今天我们要学习Support Vector Machine（SVM）算法。

简介

SVM是一种二分类模型，是定义在特征空间上的最大间隔分类器，该算法包含了核技巧（核函数），使其能够处理非线性任务。SVM的学习策略是最大化其间隔，可形式化为一个求解凸二次规划问题。

相关概念

线性可分：在当前线性空间能够使用一个线性函数将两类样本分开。

算法原理

为了由浅到深，完整理解SVM算法，接下来我们从线性可分的数据入手，推导SVM的原理。搬起你们的小板凳，深吸一口气，幼儿园发车辣。

SVM在线性可分下运行简介

对于一系列样本点$(y_i,(x_{1i},...,x_{ni}))$,来自于两个群体，如图1所示。我们可以很容易找到多条直线区分。那么哪一条直线最好？一般而言，我们会选择$l_2$,因为这条直线有更好的泛化性和鲁棒性。一般在SVM算法中，我们会找距离支持向量最大的超平面。那么有小朋友会问，老师老师，什么是支持向量？支持向量其实是距离超平面距离最近的样本。这下有小朋友要晕车了。其实，支持向量与超平面是一种对偶概念，两者是相互存在，后面我们将会发现，超平面的表达式会与支持向量同时求出。

step1:线性可分下的超平面如何找？

在幼儿园小班就学过，设超平面方程${\mathbf{W}}^{T}X+b=0$,那么样本点$P(y_i,(x_{1i},...,x_{ni}))$到超平面的距离$d$:
$$|d|=\frac{|w_1\ast x_1+...+w_n\ast x_n|}{\sqrt{w_1^2+...+w_n^2}}=\frac{|{\mathbf{W}}^{T}X+b|}{||\mathbf{W}||}\text{\hspace{1em}(1)}$$

其中$||w|| $是$ R^n$的范数，$b \in R$.

在明白如何计算点到平面的距离后，那么该怎么找支持向量到超平面的距离呢？其实，我们只需要求所有点到平面最小距离的最大值即可，听起来有些晕，但写出目标函数便很直观地表达需求。此时，目标函数为：
$$\begin{gathered} \arg \underset{w,b}{\max }\min (\frac{y_i(\mathbf{W}{X}_i+b)}{||w||}) \\ s.t.y_i(\mathbf{W}{X}_i+b))>=0\text{\hspace{1em}(2)} \end{gathered}$$
其中$y_i$是$X$的标签值，取值 { 1 , − 1 } \{1,-1\} {1,−1}。有小朋友就要问了，为什么不用公式（1）呢，这样不是更简单吗？其实啊，我们选择公式（2）基于以下两点考虑。一，绝对值的性质不好，使用绝对值在0处不可导。二，假设我们找到了可分平面，那么在该平面上方，$d=\frac{{\mathbf{W}}^T{X}_i+b}{||\mathbf{W}||}>0,y_i>0$,在平面下方，则正好相反，$d=\frac{{\mathbf{W}}^T{X}_i+b}{||\mathbf{W}||}<0,y_i<0$,但两者乘积$\frac{y_i(\mathbf{W}{X}_i+b)}{||\mathbf{W}||}>0$恒成立，这样也等价于$d$。

接着，我们注意到，当对$\mathbf{W}$和$b$同时缩放时，$d=\frac{y_i(\lambda \mathbf{W}{X}_i+\lambda b)}{||\lambda \mathbf{W}||}=\frac{y_i(\mathbf{W}{X}_i+b)}{||\mathbf{W}||}$,距离不变。那么，通过合适的系数变换，我们可以化简（2）的目标函数，此时，我们令支持向量（Support Vector,下简记为sv）到超平面距离为1，此时，其他向量的模长除以支持向量到超平面距离应大于1。则（2）可等价为：
$$\begin{gathered} \arg \underset{w,b}{\max }\frac{1}{||\mathbf{W}||} \\ s.t.y_i(\mathbf{W}{X}_i+b))>=1\text{\hspace{1em}(3)} \end{gathered}$$

为了计算便利，我们将求极大值转变成极小值，则（3）可等价为：
$$\begin{gathered} \arg \underset{w,b}{\min }\frac{1}{2}||\mathbf{W}|{|}^2 \\ s.t.y_i(\mathbf{W}{X}_i+b))>=1\text{\hspace{1em}(4)} \end{gathered}$$

step2:优化求解基础知识补充

为了帮助像逐波这样没有接触过最优化的同学理解后文，在本部分补充相关知识，有基础的可以跳过。

在高等数学/数学分析中，对于条件极值，通常使用拉格朗日数乘法求解。

如
$$\begin{gathered} \max V=xyz, \\ s.t.2xy+2yz+2xz=a^2 \\ constructlanguagefunction \\ L(x,y,z,\lambda )=xyz-\lambda (2xy+2yz+2xz-a^2) \\ qiudao \\ \{\begin{array}{l}\frac{\partial L}{\partial x}=0\\ \frac{\partial L}{\partial y}=0\\ \frac{\partial L}{\partial z}=0\\ \frac{\partial L}{\partial \lambda }=0\end{array} \\ thatis \\ \{\begin{array}{l}yz-\lambda (2y+2z)=0\\ xz-\lambda (2x+2z)=0\\ xy-\lambda (2x+2y)=0\end{array} \\ so,weget \\ x=y=z=\frac{a}{\sqrt{6}},V=\frac{a^3}{6\sqrt{6}} \end{gathered}$$

对于不等式约束条件，我们可以选择对不等式约束加入松弛变量转为等式约束，如：
$$\{\begin{array}{l}\min f(X)\\ s.t.g(X)\le 0\end{array}$$
加入松弛变量$v$后变为:
$$\{\begin{array}{l}\min f(X)\\ s.t.g(X)+v^2=0\end{array}$$
此时，我们构造拉格朗日函数，对$X,\lambda ,v$各自求偏导即可求解该问题。

然而，这样求解并不一定会获得可行域上的解，会通过KKT条件判断该约束问题是否有解，该命题表述为…
感兴趣的同学可以看看证明，主播并不感兴趣。
一般而言，KKT条件是一般判别有约束极值点的必要条件，但对于凸规划，KKT条件是判断存在极值点的充要条件。
除了KKT条件外，我们也常用对偶条件优化约束求解，对偶问题的好处在于能够将转化后的优化问题转变成对偶问题，详细内容扔个连接，在这里不细说了。

step3:求解

好，回到正题，我们能判断出（4）是个凸优化问题。构造（4）的拉格朗日函数，如下：
$$L(\mathbf{W},b,\lambda )=\frac{1}{2}||\mathbf{W}|{|}^2-\sum _{i=1}^m{\lambda }_i(y_i(\mathbf{W}{X}_i+b))-1)\text{\hspace{1em}(5)}$$
我们转化（5）获得其对偶问题：
$$\theta (\mathbf{W})=\underset{{\lambda }_i\ge 0}{\max }L(\mathbf{W},b,\lambda )\text{\hspace{1em}(6)}$$
此时（4）的对偶问题等价为:
$$\underset{\mathbf{W},b}{\min }\theta (\mathbf{W})=\underset{\mathbf{W},b}{\min }\underset{{\lambda }_i\ge 0}{\max }L(\mathbf{W},b,\lambda )\text{\hspace{1em}(7)}$$

(8)中$\min \max$问题不容易求解，再考虑到要满足KKT条件才能存在极值点，因此，考虑交换（8）中的次序。此时需要满足两个条件：1.优化问题为凸规划问题，2.满足KTT条件，正好与我们的需求一致，于是交换次序，此时需要满足以下条件：
$$\{\begin{array}{l}{\lambda }_i\ge 0\\ {\lambda }_i(y_i(\mathbf{W}{X}_i+b)-1)=0\\ y_i(\mathbf{W}{X}_i+b)-1\ge 0\end{array}$$
对$L(\mathbf{W},b,\lambda )$中的$\mathbf{W},b$求导，过程如图2所示，

解得：
$$\{\begin{array}{l}\mathbf{W}=\sum _{i=1}^m{\lambda }_i{y}_i{X}_i\\ \sum _{i=1}^m{\lambda }_i{y}_i=0\end{array}\text{\hspace{1em}(8)}$$

将（8）带入$L(\mathbf{W},b,\lambda )$，可得
$$L(\mathbf{W},b,\lambda )=-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j<X_i,X_j>+\sum _{i=1}^m{\lambda }_i\text{\hspace{1em}(9)}$$

此时，我们解得（4）的对偶等价规划问题为:
$$\{\begin{array}{l}\underset{{\lambda }_i\ge 0}{\max }-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_j<X_i,X_j>+\sum _{i=1}^m{\lambda }_i\\ s.t.\sum _{i=1}^m{\lambda }_i{y}_i=0\end{array}\text{\hspace{1em}(10)}$$
此时，求解（10）规划问题，将解带入（8）即可解得$\mathbf{W}$。
SVM算法中，论文作者使用SMO对该问题进行求解，下次再说。

此时，根据KKT条件，当${\lambda }_i=0$时，对应的样本点$X_i$不是sv，相反，${\lambda }_i\ne 0$时，对应的样本点$X_i$为sv。一般而言，我们只需选取一个sv，带入$b=y_i-\mathbf{W}{X}_i$即可解得$b$,但为了减少误差，我们会计算所有sv对应的$b$，并取均值。

或许，会有小朋友说，哎呀，线性问题有什么难解得，我上我也行，就是躺赢狗。别急，让我们接着看SVM得进一步优化。

step4:线性不可分下优化-软间隔

在实践中（一般说这几个字就是在耍流氓），几乎没有样本满足线性可分，对于一些特别难以区分的样本，我们可以放松要求，增强泛化能力。我们将（4）的优化问题升级为：
$$\{\begin{array}{l}\arg \underset{\mathbf{W},b}{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^m{\xi }_i\\ s.t.y_i(\mathbf{W}{X}_i+b))>=1-{\xi }_i\\ {\xi }_i\ge 0\end{array}\text{\hspace{1em}(11)}$$

此时的拉格朗日函数对$\mathbf{W},b,{\xi }_i$求导后为
$$\begin{array}{rl}L(\mathbf{W},b,\lambda ,\tau )& =\frac{1}{2}||\mathbf{W}|{|}^2-\sum _{i=1}^m{\lambda }_i(y_i(\mathbf{W}{X}_i+b))-1)-\sum {\tau }_i{\xi }_i\\ & \{\begin{array}{l}\frac{\partial L}{\partial \mathbf{W}}=0\\ \frac{\partial L}{\partial b}=0\\ \frac{\partial L}{\partial {\tau }_i}=0\end{array}\\ & then\\ & \{\begin{array}{l}\mathbf{W}=\sum {\lambda }_i{y}_i{X}_i\\ \sum {\lambda }_i{y}_i=0\\ C-{\lambda }_i-{\tau }_i=0\end{array}\\ & so\\ & \max L=-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m\lambda \lambda y_i{y}_j<X_i,X_j>+\sum _{1=1}^m{\lambda }_i\end{array}\text{\hspace{1em}(12)}$$
求解过程同上

step5:线性不可分下优化-核函数

SVM著名之处在于，能够将低维数据转化为高维数据，在高维数据中找到可分平面，将低维平面内不可分的数据嵌入高维空间，即可变为线性可分问题，升维的过程借助了核函数。

假设$\phi (X)$是$X$的高维形式，那么其他过程均可只将$X$换为$\phi (X)$，在(11)中，原优化问题升级为：
$$\{\begin{array}{l}\underset{{\lambda }_i\ge 0}{\max }-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\lambda }_i{\lambda }_j{y}_i{y}_{j}K<X_i,X_j>+\sum _{i=1}^m{\lambda }_i\\ s.t.\sum _{i=1}^m{\lambda }_i{y}_i=0\end{array}\text{\hspace{1em}(13)}$$
其中$K<X_i,X_j>$为高维向量$\phi (X_i)$与$\phi (X_j)$的内积，使用隐式的核函数表达。因此，核函数隐式提升原有数据维度，或者是，重新定义了向量空间，引入非线性运算，从而从其他空间找区分原数据的超平面。

对于核函数有一些要求，但不是本节课重点，最后放个链接供参考。

总结

今天我们学习了SVM算法原理，现在请深呼吸，头晕是正常的，请小朋友们下课认真总结，就这样，下课。

课外参考资料

KKT条件：

KKT条件是什么

KKT条件是什么

什么是凸函数、凸优化

凸优化是什么

SVM原理

SVM原理1

SVM原理2

SVM原理3

SVM原理4