SVM（支持向量机）原理及数学推导

决策平面

在样本空间中，超平面可以用以下线性方程描述：

$${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=0\text{\hspace{1em}(1)}$$

其中$\mathbf{w}=[w_1{w}_2...w_m]$为平面的法向量，b为位移项，决定了超平面与原点的距离。

假设样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) ,   y i ∈ { + 1 , − 1 } } D=\{(\bold x_1, y_1), (\bold x_2, y_2), ...,(\bold x_m, y_m) , \ y_i \in \{+1, -1\} \} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​), yi​∈{+1,−1}}线性可分,即存在一个决策平面能够将样本分为正类和负类，使得对于任意的样本$({\mathbf{x}}_i,y_i)$都有

$$\{\begin{array}{l}{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b\ge 0,y_i=+1\\ \\ {\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b<0,y_i=-1\end{array}\text{\hspace{1em}(2)}$$

亦即

$$y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 0\text{\hspace{1em}(3)}$$

同时，我们还希望两类样本到直线的距离尽可能大。

样本空间中的任一点x_i到平面${\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b=0$的距离为：

$$r=\frac{|{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b|}{||\mathbf{w}||}\text{\hspace{1em}(4)}$$

如果决策平面能够正确的分类所有样本，则样本空间内的任意点$({\mathbf{x}}_{\mathbf{i}},y_i)$到决策平面的距离可以表示为：

$$r=\frac{y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)}{||\mathbf{w}||}\text{\hspace{1em}(5)}$$

样本空间中距离决策平面最近的点为$({\mathbf{x}}_{\mathbf{a}},y_a)$，因为距离受到法向量长度的影响可以缩放，因此为了计算方便，添加约束条件使

$$y_a({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{a}}+b)=1\text{\hspace{1em}(6)}$$

因此如果该平面能够区分正类和负类的样本，则应满足对于样本空间内的任一点x_i，都有：

$$y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 1\text{\hspace{1em}(7)}$$

距离直线最近的两个异类的点到决策平面的距离之和称为“间隔”，根据式 (5) (7) 可以得出，决策平面到正类和负类的最大间隔为：

$$\gamma =\frac{2}{||\mathbf{w}||}\text{\hspace{1em}(8)}$$

这两个点所在的与决策平面平行的平面则成为最大间隔边界，而我们要是这个间隔最大化，找到最大间隔边界，因此得到我们的优化问题：

$$\underset{\mathbf{w},b}{\max }\frac{2}{||\mathbf{w}||}s.t.y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 1,i=1,2,...,m\text{\hspace{1em}(9)}$$

由于本质上就是要最大化$||w||$，因此问题可以重写为：

$$\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^{2}s.t.y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 1,i=1,2,...,m\text{\hspace{1em}(10)}$$

这就是SVM的基本优化问题

对偶问题

式子（9）是一个凸二次规划问题。使用拉格朗日乘数法，对其每条约束添加拉格朗日乘数${\alpha }_i\ge 0$，则该问题的拉格朗日函数为：

$$L(\mathbf{w},b,\alpha )=\frac{1}{2}||\mathbf{w}|{|}^2-{\Sigma }_{i=1}^m{\alpha }_i(y_i({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)-1)\text{\hspace{1em}(11)}$$

对(10)中w和b求偏导，令导数为0，可得：

$$\mathbf{w}={\Sigma }_{i=1}^m{\alpha }_i{y}_i{x}_i\text{\hspace{1em}(12)}$$

$$0={\Sigma }_{i=1}^m{\alpha }_i{y}_i\text{\hspace{1em}(13)}$$

将(12)带入(11)中,消去w,b，得到关于$\alpha$的优化问题:

$$\begin{gathered} \underset{\alpha }{\max }{\Sigma }_{i=i}^m{\alpha }_i-\frac{1}{2}{\Sigma }_{i=1}^m{\Sigma }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}} \\ s.t.{\Sigma }_{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,...,m\text{\hspace{1em}(14)} \end{gathered}$$

其中$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_m)$

求解$\alpha$后，即可进一步求出w,b的值，得到模型:

$$\begin{array}{rl}f(x)& ={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b\\ & ={\Sigma }_{i=1}^m{\alpha }_i{y}_i{\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}\mathbf{x}+b\end{array}\text{\hspace{1em}(14)}$$

(9)中的优化不等式中存在不等式约束，因此上述过程还需要KKT（Karush-Kuhn-Tucker）条件：

$$\{\begin{array}{l}{\alpha }_i\ge 0;\\ y_i({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)-1\ge 0\\ {\alpha }_i(y_i({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)-1)=0\end{array}\text{\hspace{1em}(15)}$$

根据KKT条件中的${\alpha }_i(y_i({\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b)-1)=0$可知，对于任意训练样本$({\mathbf{x}}_{\mathbf{i}},y_i)$，总有${\alpha }_i=0$或$y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)-1=0$，而${\alpha }_i=0$意味着对应的样本不会对最终的结果产生影响，只有使${\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b=1$的样本才会对最终结果产生影响，而这样的样本正是(4)(5)中出现在最大间隔边界上、使得不等式（6）取得等号的样本。决策平面由这几个样本决定，因此我们将出现在最大间隔边界上的样本 称为支持向量，这也是SVM支持向量机名字的由来。

核函数

之前的讨论中我们都假设样本是线性可分的，但是很多时候并不存在一个决策平面能将样本正确划分。对于这样的问题，可以将样本从原始特征空间映射到一个更高维的特征空间，从而使得样本在新的高维特征空间内线性可分。

令$\varphi (\mathbf{x})$表示将$\mathbf{x}$映射后的特征向量，则新的模型可以表示为：

$$f(x)={\mathbf{w}}^{\mathbf{T}}\varphi (\mathbf{x})+b\text{\hspace{1em}(16)}$$

类似（10），有优化问题

$$\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^{2}s.t.y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 1,i=1,2,...,m\text{\hspace{1em}(17)}$$

其对偶问题为：
$$\begin{gathered} \underset{\alpha }{\max }{\Sigma }_{i=i}^m{\alpha }_i-\frac{1}{2}{\Sigma }_{i=1}^m{\Sigma }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^{\mathbf{T}}\varphi ({\mathbf{x}}_{\mathbf{j}}) \\ s.t.{\Sigma }_{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,...,m.\text{\hspace{1em}(18)} \end{gathered}$$

由于(18)的计算中涉及到$\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^{\mathbf{T}}\varphi ({\mathbf{x}}_{\mathbf{j}})$，由于映射到高维特征空间后$\varphi ({\mathbf{x}}_{\mathbf{i}})$，$\varphi ({\mathbf{x}}_{\mathbf{j}})$的维度可能很高，因此内积的计算可能会很困难。为了简化计算，我们引入一个函数，使：
$$\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=\varphi ({\mathbf{x}}_{\mathbf{i}}{)}^{\mathbf{T}}\varphi ({\mathbf{x}}_{\mathbf{j}})\text{\hspace{1em}(19)}$$

这样就避开了高维向量内积的计算，式（18）可以重写成：
$$\begin{gathered} \underset{\alpha }{\max }{\Sigma }_{i=i}^m{\alpha }_i-\frac{1}{2}{\Sigma }_{i=1}^m{\Sigma }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}}) \\ s.t.{\Sigma }_{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0,i=1,2,...,m.\text{\hspace{1em}(20)} \end{gathered}$$

求解后得到
$$\begin{array}{rl}f(x)& ={\mathbf{w}}^{\mathbf{T}}\varphi (\mathbf{x})+b\\ & ={\Sigma }_{i=1}^m{\alpha }_i{y}_i\kappa (\mathbf{x},{\mathbf{x}}_{\mathbf{i}})+b\end{array}\text{\hspace{1em}(21)}$$

这里的$\kappa (\cdot )$就是核函数。

常用的核函数有：

• 线性核 $\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})={\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}}$
• 多项式核 $\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})={({\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}})}^d$
• 高斯核 $\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=exp(\frac{-{||{\mathbf{x}}_{\mathbf{i}}-{\mathbf{x}}_{\mathbf{j}}||}^2}{2})$
• 拉普拉斯核$\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=exp(\frac{-||{\mathbf{x}}_{\mathbf{i}}-{\mathbf{x}}_{\mathbf{j}}||}{\sigma })$
• Sigmoid核$\kappa ({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=tanh(\beta {\mathbf{x}}_{\mathbf{i}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{j}}+\theta )$

软间隔SVM

显示任务中很难找到合适的核函数使训练样本在特征空间中线性可分，因此需要允许SVM在一些样本上出错。引入“软间隔”，允许某些样本不满足$y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 1$，优化目标可写为：
$$\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C{\Sigma }_{i=1}^m{l}_{0/1}{y}_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)-1)s.t.y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 1,i=1,2,...,m$$
其中$C>0$，是一个常数，$l_{0/1}$是0/1损失函数，
$$l_{0/1}(x)=\{\begin{array}{l}1,x<0\\ 0,otherwise\end{array}$$
由于$l_{0/1}$数学性质不好，非凸、非连续，因此常用hinge loss替代。
$$l_{hinge}(x)=max(0,1-x)$$

损失函数变为：

$$\underset{\mathbf{w},b}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C{\Sigma }_{i=1}^{m}max(0,1-y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b))$$

引入松弛变量${\xi }_i\ge 0$，目标函数变为：
$$\begin{gathered} \underset{w,b,{\xi }_i}{\min }\frac{1}{2}||\mathbf{w}|{|}^2+C{\Sigma }_{i=1}^m{\xi }_i \\ \begin{array}{rl}s.t.& y_i({\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}+b)\ge 1-{\xi }_i,\\ & {\xi }_i\ge 0,i=1,2,...,m\end{array} \end{gathered}$$
C越大，表示约束越重要，C为无穷大时所有样本均满足约束；C有限是，允许一些样本不满足约束。