（六）统计学习方法 | 支持向量机

---

1. 支持向量机

1.1 简介与定义

支持向量机$\mathrm{S}\mathrm{V}\mathrm{M}$是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，而间隔最大使它有别于感知机算法；支持向量机还支持核函数，这使它称为实质上的非线性分类器。支持向量机由简到繁包括：线性可分支持向量机，线性支持向量机和非线性支持向量机。这里，通过使用核函数可以学习非线性支持向量机，等价于隐式地在高维的特征空间中学习线性支持向量机。

1.2 线性可分支持向量机

假设给定一个特征空间上的训练数据集： T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}

其中，$x_i\in \mathcal{X}={\mathbf{R}}^n$， y i = { + 1 , − 1 } y_i=\{+1,-1\} yi​={+1,−1}，$i=1,2,...,N$。$x_i$为第$i$个特征向量，也称为实例，$y_i$为$x_i$的类标记。当$y_i=+1$时，称$x_i$为正例；当$y_i=-1$时，称$x_i$为负例。$(x_i,y_i)$称为样本点，且假设训练数据集是线性可分的。学习的目标是在特征空间中找到一个分离超平面，能将实例分到不同的类。分离超平面对应于方程$w\cdot x+b=0$，它由法向量$w$和截距$b$决定。一般来说，当训练数据集线性可分时，存在无数个分离超平面可将两类数据正确分开。感知机利用误分类最小的策略，求得分离超平面，不过这时的解有无穷多个；线性可分支持向量机利用间隔最大化求最优分离超平面，这时的解是唯一的。

线性可分支持向量机 给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为：$$w^{\ast }\cdot x+b^{\ast }=0\text{\hspace{1em}(1)}$$

以及相应的分类决策函数：$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w^{\ast }\cdot x+b^{\ast })\text{\hspace{1em}(2)}$$

称为线性可分支持向量机。

1.3 函数间隔和几何间隔

在上图中，有$A,B,C$三个点，表示$3$个实例，均在分离超平面的正类一侧，预测它们的类。点$A$距分离超平面较远，若预测该点为正类，就比较确信预测是正确的；点$C$距分类超平面较近，若预测该点为正类就不那么确信；点$B$介于点$A$和点$C$之间，预测其为正类的确信度也在$A$和$C$之间。一般来说，一个点距离分类超平面的远近可以表示分类预测的确信程度。在超平面$w\cdot x+b=0$确定的情况下，$|w\cdot x+b|$能够相对地表示点$x$距离超平面的远近。而$w\cdot x+b$得符号与类标记$y$得符号是否一致能够表示分类是否正确。所以，可以使用$y(w\cdot x+b)$来表示分类得正确性以及确信度，即函数间隔。

函数间隔 对于给定的训练数据集$T$和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔为：$${\hat{\gamma }}_i=y_i(w\cdot x_i+b)$$

定义超平面$(w,b)$关于训练数据集$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的函数间隔之最小值：
$$\hat{\gamma }=\underset{i=1,...,N}{\min }{\hat{\gamma }}_i$$

函数间隔可以表示分类预测的正确性及确信度。但是选择分类超平面时，只有函数间隔还不够。因为只要成比例地改变$w$和$b$，超平面并没有改变，而函数间隔却在改变。

上图给出了超平面$(w,b)$以及法向量$w$。点$A$表示某一实例$x_i$，其类标记为$y_i=+1$。点$A$与超平面$(w,b)$的距离由线段$AB$给出，记作${\gamma }_i$：$${\gamma }_i=\frac{w}{||w||}\cdot x_i+\frac{b}{||w||}$$

其中$||w||$为$w$的第二范数。这时点$A$在超平面正的一侧的情形。如果点$A$在超平面负的一侧，即$y_i=-1$，那么点与超平面的距离为：$${\gamma }_i=-\left(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||}\right)$$

一般地，当样本点$(x_i,y_i)$被超平面$(w,b)$正确分类时，点$x_i$与超平面$(w,b)$的距离是：$${\gamma }_i=y_i\left(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||}\right)$$

几何间隔 对于给定的训练数据集$T$和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的几何间隔为：$${\gamma }_i=y_i\left(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||}\right)\text{\hspace{1em}(3)}$$

定义超平面$(w,b)$关于训练数据集$T$的几何间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的几何间隔之最小值：
$$\gamma =\underset{i=1,...,N}{\min }{\gamma }_i$$

从函数间隔和几何间隔的定义可知，它们之间有以下关系：$${\gamma }_i=\frac{{\hat{\gamma }}_i}{||w||}$$

$$\gamma =\frac{\hat{\gamma }}{||w||}$$

如果$||w||=1$，那么函数间隔和几何间隔相等。如果超平面参数$w$和$b$成比例地改变，函数间隔也按此比例改变，而几何间隔不变。

1.4 间隔最大化

1.4.1 最大间隔分离超平面

下面考虑如何求得一个几何间隔最大的超平面，即最大间隔分离超平面。具体地，这个问题可以表示为下面的约束最优化问题：$$\underset{w,b}{\max }\gamma$$

$$s.t.y_i\left(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||}\right)\ge \gamma ,i=1,2,...,N\text{\hspace{1em}(4)}$$

即我们希望最大化超平面$(w,b)$关于训练数据集的几何间隔$\gamma$，约束条件表示的是超平面$(w,b)$关于每个训练样本点的几何间隔至少是$\gamma$。考虑几何间隔和函数间隔的关系，上面式子可以写作：$$\underset{w,b}{\max }\frac{\hat{\gamma }}{||w||}$$

$$s.t.y_i(w\cdot x_i+b)\ge \hat{\gamma },i=1,2,...,N\text{\hspace{1em}(5)}$$

函数间隔$\hat{\gamma }$的取值并不影响最优化问题的解。事实上，假设将$w$和$b$按比例地改变为$\lambda w$和$\lambda b$，这时的函数间隔变为$\lambda \hat{\gamma }$。函数间隔的这一改变对上面最优化问题的不等式约束没有影响，也就是说，它产生了一个等价的最优化问题。这样，就可以取$\hat{\gamma }=1$，将其代入上面的最优化问题，就得到下面的线性可分支持向量机学习的最优化问题：$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$$

$$s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,...,N\text{\hspace{1em}(6)}$$

这时一个凸二次规划问题。如果求出了约束最优化问题的解$w^{\ast }$和$b^{\ast }$，那么就可以得到最大间隔分离超平面$w^{\ast }\cdot x+b^{\ast }=0$及分类决策函数$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w^{\ast }\cdot x+b^{\ast })$，即线性可分支持向量机。

线性可分支持向量机——最大间隔法

输入 线性可分训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中，$x_i\in \mathcal{X}={\mathbf{R}}^n$， y i = { + 1 , − 1 } y_i=\{+1,-1\} yi​={+1,−1}，$i=1,2,...,N$；

输出 最大间隔分离超平面和分类决策函数。

（1）构造并求解约束最优化问题：$$\underset{w,b}{\min }\frac{1}{2}||w|{|}^2$$

$$s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,...,N$$

求得最优解$w^{\ast }$和$b^{\ast }$；

（2）由此得到分离超平面：$$w^{\ast }\cdot x+b^{\ast }=0$$

分类决策函数：
$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w^{\ast }\cdot x+b^{\ast }).$$

1.4.2 最大间隔分离超平面的存在唯一性

若训练数据集$T$线性可分，则可将训练数据集中的样本点完全正确分开的最大间隔分离超平面存在且唯一。

1.4.3 支持向量和间隔边界

在线性可分情况下，训练数据集的样本点中与分离超平面距离最近的样本点的实例称为支持向量。支持向量是使式（6）中约束条件等号成立的点，即：$$y_i(w\cdot x_i+b)=0$$

对于$y_i=+1$的正例点，支持向量在超平面：$$H_1:w\cdot x+b=1$$

对于$y_i=-1$的负实例点，支持向量在超平面$$H_2:w\cdot x+b=-1$$

如图，在$H_1$和$H_2$上的点就是支持向量：
上图中$H_1$和$H_2$平行，并且没有实例点落在它们中间。在$H_1$与$H_2$之间形成一条长带，分离超平面与它们平行且位于它们中央。长带的宽度，即$H_1$与$H_2$之间的距离称为间隔。间隔大小依赖于分离超平面的法向量$w$，等于$2/||w||$。$H_1$和$H_2$称为间隔边界。

在决定分离超平面时只有支持向量起作用，而其他实例点并不起作用。如果移动支持向量将改变所求的解；但是如果在间隔边界以外移动其他实例点，甚至去掉这些点，则解是不会改变的。由于支持向量在确定分离超平面中起着决定性作用，所以将这种分类模型称为支持向量机。支持向量的个数一般很少，所以支持向量机由很少的重要的训练样本确定。

例题 如下图所示的训练数据集，其正例点是$x_1=(3,3{)}^{\mathrm{T}}$和$x_2=(4,3{)}^{\mathrm{T}}$，负实例点是$x_3=(1,1{)}^{\mathrm{T}}$，求最大间隔分离超平面。

解 首先构造最优化问题：$$\underset{w,b}{\min }\frac{1}{2}(w_1^2+w_2^2)$$

$$s.t.1\cdot (3w_1+3w_2+b)-1\ge 0$$

$$1\cdot (4w_1+3w_2+b)-1\ge 0$$

$$-1\cdot (w_1+w_2+b)-1\ge 0$$

构造拉格朗日函数：$$\begin{array}{rl}L(w,b,\lambda )& =\frac{1}{2}(w_1^2+w_2^2)+{\lambda }_1(3w_1+3w_2+b-1)+{\lambda }_2(4w_1+3w_2+b-1)\\ & -{\lambda }_3(w_1+w_2+b+1)\end{array}$$

求偏导数：$$\{\begin{array}{rl}& \frac{\partial L(w,b,\lambda )}{\partial w_1}=w_1+3{\lambda }_1+4{\lambda }_2-{\lambda }_3\\ & \frac{\partial L(w,b,\lambda )}{\partial w_2}=w_2+3{\lambda }_1+3{\lambda }_2-{\lambda }_3\\ & \frac{\partial L(w,b,\lambda )}{\partial b}={\lambda }_1+{\lambda }_2-{\lambda }_3\\ & \frac{\partial L(w,b,\lambda )}{\partial {\lambda }_1}=3w_1+3w_2+b-1\\ & \frac{\partial L(w,b,\lambda )}{\partial {\lambda }_2}=4w_1+3w_2+b-1\\ & \frac{\partial L(w,b,\lambda )}{\partial {\lambda }_3}=w_1+w_2+b+1\end{array}$$

然后令各偏导数的值为$0$。最后可求得结果如下：
$$w_1=w_2=\frac{1}{2},b=-2,{\lambda }_1={\lambda }_3=-\frac{1}{4},{\lambda }_2=0$$

于是，最大间隔分离超平面为：$$\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2=0$$

其中，$x_1=(3,3{)}^{\mathrm{T}}$和$x_3=(1,1{)}^{\mathrm{T}}$是支持向量。

1.4.4 学习的对偶算法

为了求解线性可分支持向量机的最优化问题，将它作为原始最优化问题，应用拉格朗日对偶性，通过求解对偶问题得到问题的解。这样做的优点是：（1）对偶问题往往更容易求解；（2）引入核函数，进而推广到非线性分类。

首先构建拉格朗日函数。为此，对每一个不等式约束条件引入拉格朗日乘子${\alpha }_i\ge 0$，$i=1,2,...,N$，定义拉格朗日函数（最后一项的加入不改变原最优化问题）：$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^N{\alpha }_i{y}_i(w\cdot x+b)+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(7)}$$

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：$$\underset{\alpha }{\max }\underset{w,b}{\min }L(w,b,\alpha )$$

（1）求$\underset{w,b}{\min }L(w,b,\alpha )$，求偏导数并令为$0$：
$${\nabla }_{w}L(w,b,\alpha )=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0$$

$${\nabla }_{b}L(w,b,\alpha )=-\sum _{i=1}^N{\alpha }_i{y}_i=0$$

得到：$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\text{\hspace{1em}(8)}$$

$$\sum _{i=1}^N{\alpha }_i{y}_i=0\text{\hspace{1em}(9)}$$

将式（8）带入式（7），并利用式（9），得到：$$\begin{array}{rl}L(w,b,\alpha )& =\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i{y}_i\left(\left(\sum _{j=1}^N{\alpha }_j{y}_j{x}_j\right)\cdot x_i+b\right)+\sum _{i=1}^N{\alpha }_i\\ & =-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\end{array}$$

即：$$\underset{w,b}{\min }L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

（2）求$\underset{w,b}{\min }L(w,b,\alpha )$对$\alpha$的极大，即是对偶问题：$$\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(10)}$$

$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$

$${\alpha }_i\ge 0,i=1,2,...,N$$

将式（10）由极大转换为极小：$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(11)}$$

$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$

$${\alpha }_i\ge 0,i=1,2,...,N$$

由定理，存在$w^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$，使$w^{\ast }$是原优化问题（7）的解，${\alpha }^{\ast },{\beta }^{\ast }$是对偶优化问题式（11）的解。对于线性可分训数据集，假设${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^{\mathrm{T}}$为$\alpha$的解。然后可以由求得的${\alpha }^{\ast }$求出原优化问题（7）的解$w^{\ast },b^{\ast }$。

定理 设${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^{\mathrm{T}}$式对偶最优化问题的解，则存在下标$j$，使得${\alpha }_j^{\ast }>0$，并可按下式求得原始最优化问题的解$w^{\ast },b^{\ast }$：$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot y_j)$$

线性可分支持向量机学习算法

输入 线性可分训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中，$x_i\in \mathcal{X}={\mathbf{R}}^n$， y i = { + 1 , − 1 } y_i=\{+1,-1\} yi​={+1,−1}，$i=1,2,...,N$；

输出 分离超平面和分类决策函数。

（1）构造并求解约束最优化问题：$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$

求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^{\mathrm{T}}$；

（2）计算：$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i\text{\hspace{1em}(12)}$$

并选择${\alpha }^{\ast }$的一个正分量${\alpha }_j^{\ast }>0$，计算：$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot x_j)\text{\hspace{1em}(13)}$$

（3）求得分离超平面：$$w^{\ast }\cdot x+b^{\ast }=0$$

分类决策函数：$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w^{\ast }\cdot x+b^{\ast })$$

由上一定理可知，$w^{\ast }$和$b^{\ast }$只依赖于数据中${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$，而其他样本点对$w^{\ast }$和$b^{\ast }$没有影响。我们将训练数据集中对应于${\alpha }_i^{\ast }>0$的实例点$x_i\in {\mathbf{R}}^n$称为支持向量。

解例题

给定所给数据，对偶问题是：$$\begin{array}{rl}\underset{\alpha }{\min }& \frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\\ & =\frac{1}{2}(18{\alpha }_1^2+25{\alpha }_2^2+2{\alpha }_3^2+42{\alpha }_1{\alpha }_2-12{\alpha }_1{\alpha }_3-14{\alpha }_2{\alpha }_3)-{\alpha }_1-{\alpha }_2-{\alpha }_3\end{array}$$

$$s.t.{\alpha }_1+{\alpha }_2-{\alpha }_3=0$$

$${\alpha }_i\ge 0,i=1,2,3$$

将约束条件${\alpha }_3={\alpha }_1+{\alpha }_2$带入目标函数，并记为：$$s({\alpha }_1,{\alpha }_2)=4{\alpha }_1^2+\frac{13}{2}{\alpha }_2^2+10{\alpha }_1{\alpha }_2-2{\alpha }_1-2{\alpha }_2$$

用上述函数对${\alpha }_1$和${\alpha }_2$求偏导，并令其为$0$，得到$s$在点$(3/2,-1{)}^{\mathrm{T}}$处取极值。但是由于该点不满足约束条件${\alpha }_2\ge 0$，所以上述函数的最小值应该在边界上取得。当${\alpha }_1=0$时，函数的最小值为$-2/13$；当${\alpha }_2=0$时，函数的最小值为$-1/4$。于是$s({\alpha }_1,{\alpha }_2)$在${\alpha }_1=1/4,{\alpha }_2=0$处达到最小。这样，${\alpha }_1^{\ast }={\alpha }_3^{\ast }=1/4$对应的实例点$x_1,x_3$是支持向量。由式（12）和式（13），解得：$$w_1^{\ast }=w_3^{\ast }=\frac{1}{2}$$

$$b^{\ast }=-2$$

分离超平面为：$$\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2=0$$

分类决策函数为：$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2\right)$$

1.5 线性支持向量机与软间隔最大化

1.5.1 线性支持向量机

线性可分间隔支持向量机学习方法对线性不可分训练数据集是不适用的，因为这时上述方法中的不等式约束并不都能成立。将线性可分支持向量机扩展到线性不可分的关键是修改硬间隔最大化，使其称为软间隔最大化。假设给定一个特征空间上的训练数据集： T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}

其中，$x_i\in \mathcal{X}={\mathbf{R}}^n$， y i = { + 1 , − 1 } y_i=\{+1,-1\} yi​={+1,−1}，$i=1,2,...,N$。再假设训练数据集不是线性可分的，通常的情况是，训练数据中有一些特异点，去除这些特异点后，数据集才变为线性可分。而线性不可分意味着某些样本点$(x_i,y_i)$不满足函数间隔大于等于$1$的约束条件。为了解决这个问题，可以对每个样本点$(x_i,y_i)$引进一个松弛变量${\xi }_i\ge 0$，使函数间隔加上这个松弛变量后大于等于$1$，即约束条件变为：$$y_i(w\cdot x_i+b)\ge 1-{\xi }_i$$

同时，对每个松弛变量添加一个代价，目标函数变为：$$\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$

这里，$C>0$称为惩罚参数，$C$值越大对误分类的惩罚增大，$C$越小对误分类的惩罚越小。所以，这里得到线性不可分的线性支持向量机的学习问题：$$\underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$

$$s.t.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0,i=1,2,...,N$$

上述原始问题是一个凸二次规划问题，因而关于$(w,b,\xi )$的解是存在的，可以证明$w$的解是唯一的，但$b$的解可能不唯一。

线性支持向量机 对于给定的线性不可分的训练数据集，通过求解凸二次规划问题，即软间隔最大化问题，得到分离超平面：$$w^{\ast }\cdot x+b^{\ast }=0$$

分类决策函数：
$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w^{\ast }\cdot x+b^{\ast }).$$

称为线性支持向量机。

1.5.2 学习的对偶算法

根据线性可分支持向量机学习的对偶算法，相应地得到线性不可分支持向量机的对偶问题：$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i\text{\hspace{1em}(14)}$$

$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$

$$0\le {\alpha }_i\le C,i=1,2,...,N$$

对应的拉格朗日函数：$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i-\sum _{i=1}^N{\alpha }_i(y_i(w\cdot x+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i\text{\hspace{1em}(15)}$$

其中，${\alpha }_i\ge 0$，${\mu }_i\ge 0$。

对偶问题是拉格朗日函数的极大极小问题，首先求$L(w,b,\xi ,\alpha ,\mu )$对$w,b,\xi$的极小，得：$$w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i$$

$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$

$$C-{\alpha }_i-{\mu }_i=0$$

将上面三式带入式（15）中，得：
$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

再对$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$求$\alpha$得极大，即得对偶问题：
$$\underset{\alpha }{\max }-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i$$

$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$

$$C-{\alpha }_i-{\mu }_i=0$$

$${\alpha }_i\ge 0$$

$${\mu }_i\ge 0,i=1,2,...,N$$

定理 设${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^{\mathrm{T}}$式对偶最优化问题的解，若存在${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }\ge 0$，$0<{\alpha }_j^{\ast }<C$，则可按下式求得原始最优化问题的解$w^{\ast },b^{\ast }$：$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot y_j)$$

线性支持向量机学习算法

输入 训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中，$x_i\in \mathcal{X}={\mathbf{R}}^n$， y i = { + 1 , − 1 } y_i=\{+1,-1\} yi​={+1,−1}，$i=1,2,...,N$；

输出 分离超平面和分类决策函数。

（1）选择惩罚参数$C>0$，构造并求解凸二次规划问题：$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i$$

$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$

$$0\le {\alpha }_i\le C,i=1,2,...,N$$

求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^{\mathrm{T}}$；

（2）计算：$$w^{\ast }=\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i{x}_i$$

选择${\alpha }^{\ast }$的一个分量${\alpha }_j^{\ast }\ge 0$满足条件$0<{\alpha }_j^{\ast }<C$，计算：$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot y_j)$$

（3）求得分离超平面：$$w^{\ast }\cdot x+b^{\ast }=0$$

分类决策函数：$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}(w^{\ast }\cdot x+b^{\ast })$$

1.5.3 支持向量

在线性不可分的情况下，将对偶问题的解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^{\mathrm{T}}$中对应于${\alpha }_i^{\ast }>0$的样本点$(x_i,y_i)$称为支持向量。软间隔的支持向量$x_i$或者在间隔边界上，或者在间隔边界与分离超平面之间，或者在分离超平面误分一侧。若${\alpha }_i^{\ast }<C$，则${\xi }_i=0$，支持向量$x_i$恰好落在间隔边界上；若${\alpha }_i^{\ast }=C,0<{\xi }_i<1$，则分类正确，$x_i$在间隔边界与分离超平面之间；若${\alpha }_i^{\ast }=C,{\xi }_i=1$，则$x_i$在分离超平面上；若${\alpha }_i^{\ast }=C,{\xi }_i>1$，则$x_i$位于分离超平面误分一侧。

1.5.4 合页损失函数

线性支持向量机学习还有另外一种解释，就是最小化以下目标函数：$$\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda ||w|{|}^2$$

目标函数的第一项是经验损失或风险损失，函数：$$L(y(w\cdot x+b))=[1-y(w\cdot x+b){]}_{+}$$

称为合页损失函数。下标正号表示以下取正值的函数：$$[z{]}_{+}=\{\begin{array}{rlr}& z,& z>0\\ & 0,& z\le 0\end{array}$$

也就是说，当样本点$(x_i,y_i)$被正确分类且函数间隔$y_i(w\cdot x_i+b)$大于$1$时，损失是$0$，否则损失是$1-y_i(w\cdot x_i+b)$。

定理 线性支持向量机原始最优化问题：$$\underset{w,b,\xi }{\min }\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i$$

$$s.t.y_i(w\cdot x_i+b)\ge 1-{\xi }_i,{\xi }_i\ge 0,i=1,2,...,N$$

等价于最优化问题：$$\underset{w,b}{\min }\sum _{i=1}^N[1-y_i(w\cdot x_i+b){]}_{+}+\lambda ||w|{|}^2$$

1.6 非线性支持向量机与核函数

对解线性分类问题，线性分类支持向量机是一种非常有效的方法。但是，有时分类问题是非线性的，这时可以使用非线性支持向量机，其主要特点就是利用核技巧。

1.6.1 核技巧

一般来说，对给定的一个训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中，实例$x_i$属于输入空间，$x_i\in \mathcal{X}={\mathbf{R}}^n$，对应的标记有两类 y i = { + 1 , − 1 } y_i=\{+1,-1\} yi​={+1,−1}，$i=1,2,...,N$。如果能用${\mathbf{R}}^n$中的一个超曲面将正负实例正确分开，则称这个问题为非线性可分问题。这里，设原空间为$\mathcal{X}\subset {\mathbf{R}}^n,x=(x^{(1)},x^{(2)}{)}^{\mathrm{T}}\in \mathcal{X}$，新空间为$\mathcal{Z}\subset {\mathbf{R}}^2,z=(z^{(1)},z^{(2)}{)}^{\mathrm{T}}\in \mathcal{Z}$，定义从原空间到新空间的变换：$$z=\varphi (x)=((x^{(1)}{)}^2,(x^{(2)}{)}^2{)}^{\mathrm{T}}$$

经过变换$z=\varphi (x)$，原空间$\mathcal{X}\subset {\mathbf{R}}^n$变换为新空间$\mathcal{Z}\subset {\mathbf{R}}^n$，原空间中的点相应地变换为新空间中的点，原空间中的椭圆：$$w_1(x^{(1)}{)}^2+w_2(x^{(2)}{)}^2+b=0$$

变换为新空间中的直线：$$w_1{z}^{(1)}+w_2{z}^{(2)}+b=0$$

在变换的空间里，直线$w_1{z}^{(1)}+w_2{z}^{(2)}+b=0$可以将变换后的正负实例点正确分开。这样，原空间的非线性可分问题就变成了新空间的线性可分问题。

用线性分类方法求解非线性分类问题分为两步：首先使用一个变换将原空间的数据映射到新空间；然后在新空间里用线性分类学习方法从训练数据中学习分类模型。核技巧就属于这样的方法。

核函数 设$\mathcal{X}$是输入空间，又设$\mathcal{H}$为特征空间，如果存在一个从$\mathcal{X}$到$\mathcal{H}$的映射：$$\varphi (x):\mathcal{X}\to \mathcal{H}$$

使得对所有$x,z\in \mathcal{X}$，函数$K(k,z)$满足条件：$$K(x,z)=\varphi (x)\cdot \varphi (z)$$

则称$K(k,z)$为核函数，$\varphi (x)$为映射函数，式中$\varphi (x)\cdot \varphi (z)$为$\varphi (x)$和$\varphi (z)$的内积。核技巧的想法是，在学习与预测中只定义核函数$K(k,z)$，而不显式地定义映射函数$\varphi$。通常，直接计算$K(k,z)$比较容易，而通过$\varphi (x)$和$\varphi (z)$计算$K(k,z)$并不容易。下面是一个例子来说明核函数和映射函数的关系。

例题 假设输入空间是${\mathbf{R}}^2$，核函数是$K(k,z)=(x\cdot z{)}^2$，试找出其相关的特征空间$\mathcal{H}$和映射$\varphi (x):{\mathbf{R}}^2\to \mathcal{H}$。

解 取特征空间$\mathcal{H}={\mathbf{R}}^3$，记$x=(x^{(1)},x^{(2)}{)}^{\mathrm{T}}$，$z=(z^{(1)},z^{(2)}{)}^{\mathrm{T}}$，由于：$$x\cdot z=(x^{(1)}{z}^{(1)}+x^{(2)}{z}^{(2)}{)}^2=(x^{(1)}{z}^{(1)}{)}^2+2x^{(1)}{z}^{(1)}{x}^{(2)}{z}^{(2)}+(x^{(2)}{z}^{(2)}{)}^2$$

所以可以取映射：$$\varphi (x)=((x^{(1)}{)}^2,\sqrt{2}{x}^{(1)}{x}^{(2)},(x^{(2)}{)}^2{)}^{\mathrm{T}}$$

容易验证$\varphi (x)\cdot \varphi (z)=(x\cdot z{)}^2=K(x,z)$。仍取$\mathcal{H}={\mathbf{R}}^3$以及：$$\varphi (x)=\frac{1}{\sqrt{2}}((x^{(1)}{)}^2-(x^{(2)}{)}^2,2x^{(1)}{x}^{(2)},(x^{(1)}{)}^2+(x^{(2)}{)}^2{)}^{\mathrm{T}}$$

同样有$\varphi (x)\cdot \varphi (z)=(x\cdot z{)}^2=K(x,z)$。还可以取$\mathcal{H}={\mathbf{R}}^4$以及：$$\varphi (x)=((x^{(1)}{)}^2,x^{(1)}{x}^{(2)},x^{(1)}{x}^{(2)},(x^{(2)}{)}^2{)}^{\mathrm{T}}$$

核技巧应用在支持向量机中 我们注意到在线性支持向量机的对偶问题中，无论是目标函数还是决策函数都只涉及输入实例与实例之间的内积。在对偶问题的目标函数中的内积$x_i\cdot x_j$可以用核函数$K(x_i,x_j)=\varphi (x_i)\cdot \varphi (x_j)$来代替。因此，式（11）对偶问题的目标函数变为：$$W(\alpha )=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$

同样，分类决策函数中的内积也可以用核函数代替，即：
$$\begin{array}{rl}f(x)& =\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(\sum _{i=1}^{N_s}{a}_i^{\ast }{y}_i\varphi (x_i)\cdot \varphi (x)+b^{\ast }\right)\\ & =\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(\sum _{i=1}^{N_s}{a}_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast }\right)\end{array}$$

在核函数$K(k,z)$给定的条件下，可以利用解线性分类问题的方法求解非线性分类问题的支持向量机。学习是隐式地在特征空间进行的，不需要显式地定义特征空间的映射函数。这就是核技巧。

1.6.2 正定核

已知映射函数$\varphi$，可以通过$\varphi (x)$和$\varphi (z)$的内积求得核函数$K(k,z)$。不同构造映射能否直接判断一个给定的函数$K(k,z)$是不是核函数？其实，通常我们所说的核函数就是正定核函数，下面给出正定核的充要条件。

正定核的充要条件 设$K:\mathcal{X}\times \mathcal{X}\to R$是对称函数，则$K(k,z)$为正定核函数的充要条件是对任意$x_i\in \mathcal{X},i=1,2,...,m$，$K(k,z)$对应的$\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$矩阵：$$K=[K(x_i,x_j){]}_{m\times m}$$

是半正定的。

正定核的等价定义 设$\mathcal{X}\subset {\mathbf{R}}^n$，$K(k,z)$是定义在$\mathcal{X}\times \mathcal{X}$上的对称函数，如果对任意$x_i\in \mathcal{X},i=1,2,...,m$，$K(k,z)$对应的$\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$矩阵：$$K=[K(x_i,x_j){]}_{m\times m}$$

是半正定矩阵，则称$K(k,z)$是正定核。这一定义在构造核函数时很有用。但对于一个具体函数$K(k,z)$来说，检验它是否为正定核函数并不容易，因为要求对任意有限输入集 { x 1 , x 2 , . . . , x m } \{x_1,x_2,...,x_m\} {x1​,x2​,...,xm​}验证$K$对应的$\mathrm{G}\mathrm{r}\mathrm{a}\mathrm{m}$矩阵是否为半正定的。在实际问题中往往应用已有的核函数。

1.6.3 常用核函数

1.6.3.1 多项式核函数

$$K(x,z)=(x\cdot z+1{)}^p$$

对应的支持向量机是一个$p$次多项式分类器。在此情形下，分类决策函数成为：$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(\sum _{i=1}^{N_s}{a}_i^{\ast }{y}_i(x_i\cdot x+1{)}^p+b^{\ast }\right)$$

1.6.3.2 高斯核函数

$$K(x,z)=\exp \left(-\frac{||x-z|{|}^2}{2{\sigma }^2}\right)$$

对应的支持向量机是高斯径向基函数分类器。在此情形下，分类决策函数成为：$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(\sum _{i=1}^{N_s}{a}_i^{\ast }{y}_i\exp \left(-\frac{||x-z|{|}^2}{2{\sigma }^2}\right)+b^{\ast }\right)$$

1.6.3.3 字符串核函数

考虑一个有限字符表$\sum$。字符串$s$是从$\sum$中取出的有限个字符的序列，包括空字符串。字符串$s$的长度用$|s|$表示，它的元素记作$s(1)s(2)...s(|s|)$。两个字符串$s$和$t$的连接记作$st$。所有长度为$n$的字符串的集合记作${\sum }^n$，所有字符串的集合记作${\sum }^{\ast }=\bigcup _{n=0}^{\infty }{\sum }^n$。

考虑字符串$s$的子串$u$。给定一个指标序列 i = { i 1 , i 2 , . . . , i ∣ u ∣ } i=\{i_1,i_2,...,i_{|u|}\} i={i1​,i2​,...,i∣u∣​}，$1\le i_1<i_2<...<i_{|u|}\le |s|$，$s$的子串定义为$u=s(i)=s(i_1)s(i_2)...s(i_{|u|})$，其长度记作$l(i)=i_{|u|}-i_1+1$。如果$i$是连续的，则$l(i)=|u|$；否则，$l(i)>|u|$。

假设$\mathcal{S}$是长度大于或等于$n$的字符串集合，$s$是$\mathcal{S}$的元素。现在建立字符串集合$\mathcal{S}$到特征空间${\mathcal{H}}_n=R^{{\sum }^n}$的映射${\varphi }_n(s)$。$R^{{\sum }^n}$表示定义在${\sum }^n$上的实数空间，其每一维对应一个字符串$u\in {\sum }^n$，映射${\varphi }_n(s)$将字符串$s$对应于空间$R^{{\sum }^n}$的一个向量，其在$u$维的取值为：$$[{\varphi }_u(s){]}_u=\sum _{i:s(i)=u}{\lambda }^{l(i)}$$

这里，$0<\lambda \le 1$是一个衰减系数，$l(i)$表示字符串$i$的长度，求和在$s$中所有与$u$相同的子串上进行。两个字符串$s$和$t$上的字符串核函数是基于映射${\varphi }_n$的特征空间中的内积：$$\begin{array}{rl}{k}_n(s,t)& =\sum _{n\in {\sum }^n}[{\varphi }_u(s){]}_u[{\varphi }_u(t){]}_u\\ & =\sum _{n\in {\sum }^n}\sum _{(i,j):s(i)=t(j)=u}{\lambda }^{l(i)}{\lambda }^{l(j)}\end{array}$$

字符串核函数$k_n(s,t)$给出了字符串$s$和$t$中长度等于$n$的所有子串组成的特征向量的余弦相似度。直观上，两个字符串相同的子串越多，它们就越相似，字符串核函数的值就越大。

1.6.4 非线性支持向量分类机

非线性支持向量机

从非线性分类训练集，通过核函数与软间隔最大化，或凸二次规划，学习得到的分类决策函数：$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(\sum _{i=1}^{N_s}{a}_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast }\right)$$

称为非线性支持向量机，$K(x,z)$是正定核函数。

非线性支持向量机学习算法

输入 训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中，$x_i\in \mathcal{X}={\mathbf{R}}^n$， y i = { + 1 , − 1 } y_i=\{+1,-1\} yi​={+1,−1}，$i=1,2,...,N$；

输出 分类决策函数。

（1）选取适当的核函数$K(x,z)$和适当的参数$C$，构造并求解最优化问题：$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$

$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$

$$0\le {\alpha }_i\le C,i=1,2,...,N$$

求得最优解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^{\mathrm{T}}$；

（2）选择选择${\alpha }^{\ast }$的一个正分量满足条件$0<{\alpha }_j^{\ast }<C$，计算：$$b^{\ast }=y_j-\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_i\cdot y_j)$$

（3）构造决策函数：$$f(x)=\mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left(\sum _{i=1}^{N_s}{a}_i^{\ast }{y}_{i}K(x_i,x)+b^{\ast }\right)$$

当$K(x,z)$是正定核时，上述问题时凸二次规划问题，解是存在的。

---

2. 序列最小最优化算法

支持向量机的学习问题可以形式化为凸二次规划问题。这样的凸二次规划问题具有全局最优解，并且有许多优化算法可以求解这一问题。现在介绍一种高效的求解方法，$\mathrm{S}\mathrm{M}\mathrm{O}$算法。要求解以下凸二次规划的对偶问题：$$\underset{\alpha }{\min }\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^N{\alpha }_i$$

$$s.t.\sum _{i=1}^N{\alpha }_i{y}_i=0$$

$$0\le {\alpha }_i\le C,i=1,2,...,N$$

$\mathrm{S}\mathrm{M}\mathrm{O}$算法的思路是：如果所有变量的解都满足此最优化问题的$\mathrm{K}\mathrm{K}\mathrm{T}$条件，那么这个最优化问题的解就得到了。因为$\mathrm{K}\mathrm{K}\mathrm{T}$条件是该优化问题的充分必要条件。否则，选择两个变量，固定其他变量，针对这两个变量构建一个二次规划问题。这个二次规划问题关于这两个变量的解应该更接近原始二次规划问题的解，这会使得原始二次规划问题的目标函数值变得更小。$\mathrm{S}\mathrm{M}\mathrm{O}$算法将原始问题不断分解为子问题并对子问题求解，进而达到求解原问题的目的。即，$\mathrm{S}\mathrm{M}\mathrm{O}$算法包括两个部分：求解两个变量二次规划的解析方法和选择变量的启发式方法。

2.1 两个变量二次规划的求解方法

不失一般性，假设选择的两个变量是${\alpha }_1,{\alpha }_2$，其他变量${\alpha }_i(i=3,4,..,N)$是固定的。于是$\mathrm{S}\mathrm{M}\mathrm{O}$的最优化问题的子问题可以写作：$$\begin{gathered} \underset{{\alpha }_1,{\alpha }_2}{\min }W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2- \\ ({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^N{y}_i{\alpha }_i{K}_{i2} \end{gathered}$$

$$s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{y}_i{\alpha }_i=\varsigma$$

$$0\le {\alpha }_i\le C,i=1,2\text{\hspace{1em}(16)}$$

其中，$K_{ij}=K(x_i,x_j),i,j=1,2,...,N$，$\varsigma$是常数。

定理 最优化问题（16）沿着约束方向未经剪辑的解是：$${\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w},\mathrm{u}\mathrm{n}\mathrm{c}}={\alpha }_2^{\mathrm{o}\mathrm{l}\mathrm{d}}+\frac{y_2(E_1-E_2)}{\eta }\text{\hspace{1em}(17)}$$

其中，$\eta =K_{11}+K_{22}-2K_{12}$。经剪辑后的${\alpha }_2$的解是：$${\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w}}=\{\begin{array}{rlrl}& H,& & {\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w},\mathrm{u}\mathrm{n}\mathrm{c}}>H\\ & {\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w},\mathrm{u}\mathrm{n}\mathrm{c}},& & L\le {\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w},\mathrm{u}\mathrm{n}\mathrm{c}}\le H\\ & L,& & {\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w},\mathrm{u}\mathrm{n}\mathrm{c}}<L\end{array}\text{\hspace{1em}(18)}$$

其中，$L=\max (0,{\alpha }_2^{\mathrm{o}\mathrm{l}\mathrm{d}}-{\alpha }_1^{\mathrm{o}\mathrm{l}\mathrm{d}})$，$H=\min (C,C+{\alpha }_2^{\mathrm{o}\mathrm{l}\mathrm{d}}-{\alpha }_1^{\mathrm{o}\mathrm{l}\mathrm{d}})$。由${\alpha }_2$求得${\alpha }_1$：$${\alpha }_1^{\mathrm{n}\mathrm{e}\mathrm{w}}={\alpha }_1^{\mathrm{o}\mathrm{l}\mathrm{d}}+y_1{y}_2({\alpha }_2^{\mathrm{o}\mathrm{l}\mathrm{d}}-{\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w}})\text{\hspace{1em}(19)}$$

2.2 变量的选择方法

2.2.1 第1个变量的选择

$\mathrm{S}\mathrm{M}\mathrm{O}$算法将选择第$1$个变量的过程称为外层循环。外层循环在训练样本中选择违反$\mathrm{K}\mathrm{K}\mathrm{T}$条件最严重的样本点：$${\alpha }_i=0\iff y_{i}g(x_i)\ge 1$$

$$0<{\alpha }_i<C\iff y_{i}g(x_i)=1$$

$${\alpha }_i=C\iff y_{i}g(x_i)\le 1\text{\hspace{1em}(20)}$$

其中，$g(x_i)=\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_i,x_j)+b$。

2.2.2 第2个变量的选择

选择${\alpha }_2$的标准是使其对应的$|E_1-E_2|$最大，其中：$$E_i=g(x_i)-y_i=\left(\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_i,x_j)+b\right)-y_i,i=1,2,...,N$$

2.2.3 计算阈值$b$和差值$E_i$

$$b_1^{\mathrm{n}\mathrm{e}\mathrm{w}}=-E_1-y_1{K}_{11}({\alpha }_1^{\mathrm{n}\mathrm{e}\mathrm{w}}-{\alpha }_1^{\mathrm{o}\mathrm{l}\mathrm{d}})-y_2{K}_{21}({\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w}}-{\alpha }_2^{\mathrm{o}\mathrm{l}\mathrm{d}})+b^{\mathrm{o}\mathrm{l}\mathrm{d}}\text{\hspace{1em}(21)}$$

$$b_2^{\mathrm{n}\mathrm{e}\mathrm{w}}=-E_2-y_1{K}_{12}({\alpha }_1^{\mathrm{n}\mathrm{e}\mathrm{w}}-{\alpha }_1^{\mathrm{o}\mathrm{l}\mathrm{d}})-y_2{K}_{22}({\alpha }_2^{\mathrm{n}\mathrm{e}\mathrm{w}}-{\alpha }_2^{\mathrm{o}\mathrm{l}\mathrm{d}})+b^{\mathrm{o}\mathrm{l}\mathrm{d}}\text{\hspace{1em}(22)}$$

$$E_i^{\mathrm{n}\mathrm{e}\mathrm{w}}=\sum _S{y}_j{\alpha }_{j}K(x_i,x_j)+b^{\mathrm{n}\mathrm{e}\mathrm{w}}-y_i\text{\hspace{1em}(23)}$$

其中，$S$是所有支持向量的集合。

SMO算法

输入 训练数据集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)}，其中，$x_i\in \mathcal{X}={\mathbf{R}}^n$， y i = { + 1 , − 1 } y_i=\{+1,-1\} yi​={+1,−1}，$i=1,2,...,N$，精度$\epsilon$;

输出 近似解$\hat{\alpha }$。

（1）取初值${\alpha }^{(0)}=0$，令$k=0$；

（2）选取优化变量${\alpha }_1^{(k)},{\alpha }_2^{(k)}$，解析求解两个变量的最优化问题，并求得最优解${\alpha }_1^{(k+1)},{\alpha }_2^{(k+1)}$，更新$\alpha$为${\alpha }^{(k+1)}$；

（3）若在精度$\epsilon$范围内满足停机条件：$$\sum _{i=1}^N{\alpha }_i{y}_i=0,0\le {\alpha }_i\le C,i=1,2,...,N$$

y i ⋅ g ( x i ) = { ≥ 1 , { x i ∣ α i = 0 } = 1 , { x i ∣ 0 < α i < C } ≤ 1 , { x i ∣ α i = C } y_i\cdot g(x_i)=\left\{ \begin{aligned} &\geq1, & & \{x_i|\alpha_i=0\} \\ &=1, & & \{x_i|0<\alpha_i<C\} \\ &\leq1,& &\{x_i|\alpha_i=C\} \end{aligned} \right. yi​⋅g(xi​)=⎩⎪⎨⎪⎧​​≥1,=1,≤1,​​{xi​∣αi​=0}{xi​∣0<αi​<C}{xi​∣αi​=C}​

其中，$g(x_i)=\sum _{j=1}^N{\alpha }_j{y}_{j}K(x_i,x_j)+b$。则转（4）；否则令$k=k+1$，转（2）；

（4）取$\hat{\alpha }={\alpha }^{(k+1)}$。

---

3. Python实现支持向量机

首先加载数据集：

def load_data(file):
    # 定义空列表
    dataArr = []
    labelArr = []
    # 打开并处理文件
    with open(file, "r") as f:
        lines = f.readlines()
        for line in lines:
            # 针对csv文件格式，使用','分割数据
            curLine = line.strip().split(',')
            # SVM是一个二分类算法，定义0-4为-1、5-9为+1
            # csv文件第一列存放着具体类别
            if int(curLine[0]) < 5:
                labelArr.append(-1)
            else:
                labelArr.append(1)
            # 处理具体数据，除以255归一化
            dataArr.append([int(num) / 255 for num in curLine[1:]])
        # 返回
        return dataArr, labelArr

定义SVM类，各函数功能请查看注释或者参考部分：

class SVM:
    def __init__(self, train_data, train_label, sigma=10, c=200, slack=0.001):
        super(SVM, self).__init__()
        self.train_data = np.mat(train_data)
        self.train_label = np.mat(train_label).T
        # m：训练集数据量，n：特征数目
        self.m, self.n = np.shape(self.train_data)
        # 高斯核参数
        self.sigma = sigma
        self.c = c
        self.slack = slack
        # 初始化核函数
        self.k = self.cal_kernel()
        self.b = 0
        self.alpha = [0] * self.train_data.shape[0]
        self.e = [0 * self.train_label[i, 0] for i in range(self.train_label.shape[0])]
        # 支持向量的索引
        self.support_vector_index = []

    def cal_kernel(self):
        # 使用高斯核
        k = [[0 for i in range(self.m)] for j in range(self.m)]
        # 遍历给k赋值
        for i in range(self.m):
            # 打印进度信息
            if i % 100 == 0:
                print("{} / {}".format(i, self.m))
            # x
            x = self.train_data[i, :]
            # 由于x·z = z·x，所以支序遍历一半元素加对角线
            for j in range(i, self.m):
                # z
                z = self.train_data[j, :]
                # 根据高斯核的公式
                result = (x - z) * (x - z).T
                result = np.exp(-1 * result / (2 * self.sigma ** 2))
                # 存放结果
                k[i][j] = result
                k[j][i] = result
        return k

    def is_satisfy_kkt(self, i):
        # 第i个alpha是否满足KKT条件，返回True或False
        gxi = self.cal_gxi(i)
        yi = self.train_label[i]
        # 根据式(20)中的第一个变量选择公式，根据不同情况分别处理，将式中的0换成松弛因子
        if (math.fabs(self.alpha[i]) < self.slack) and (yi * gxi >= 1):
            return True
        elif (math.fabs(self.alpha[i] - self.c) < self.slack) and (yi * gxi <= 1):
            return True
        elif (self.alpha[i] > -self.slack) and (self.alpha[i] < (self.c + self.slack)) \
                and (math.fabs(yi * gxi - 1) < self.slack):
            return True
        return False

    # https://github.com/Dod-o/Statistical-Learning-Method_Code/blob/master/SVM/SVM.py#L156
    def cal_gxi(self, i):
        # 计算gxi，首先计算非零α的下标
        gxi = 0
        index = [i for i, alpha in enumerate(self.alpha) if alpha != 0]
        # 遍历每一个非零α
        for j in index:
            # 根据上式计算gxi
            gxi += self.alpha[j] * self.train_label[j] * self.k[j][i]
        # 偏置项
        gxi += self.b
        return gxi

    def cal_ei(self, i):
        gxi = self.cal_gxi(i)
        return gxi - self.train_label[i]

    # https://github.com/Dod-o/Statistical-Learning-Method_Code/blob/master/SVM/SVM.py#L202
    def get_alpha_j(self, e1, i):
        # SMO选择第二个变量
        e2 = 0
        # 初始化|E1-E2|为-1
        max_e1_e2 = -1
        # 初始化第二个变量的下标
        max_index = -1
        # ei非零的索引
        no_zero_ei_index = [i for i, ei in enumerate(self.e) if ei != 0]
        # 遍历非零ei
        for j in no_zero_ei_index:
            # 计算e2
            e2_temp = self.cal_ei(j)
            # 是否更新最大值
            if math.fabs(e1 - e2_temp) > max_e1_e2:
                max_e1_e2 = math.fabs(e1 - e2_temp)
                e2 = e2_temp
                max_index = j
        # 随机选择零元素
        if max_index == -1:
            max_index = i
            while max_index == i:
                max_index = int(random.uniform(0, self.m))
            # 获得e2
            e2 = self.cal_ei(max_index)
        # 返回
        return e2, max_index

    def train_model(self, it=10):
        # 记录迭代次数
        iter_steps = 0
        # 迭代中记录参数改变次数
        param_changed = 1
        # 达到迭代次数或者模型收敛
        while (iter_steps < it) and (param_changed > 0):
            # 打印日志
            print("{} / {}".format(iter_steps, it))
            iter_steps += 1
            param_changed = 0
            # 遍历所有样本，找到SMO算法的第一个变量
            for i in range(self.m):
                # 是否满足KKT条件
                if not self.is_satisfy_kkt(i):
                    # 对不满足KKT条件的变量优化
                    e1 = self.cal_ei(i)
                    e2, j = self.get_alpha_j(e1, i)
                    # 根据上式
                    y1 = self.train_label[i]
                    y2 = self.train_label[j]
                    # 复制α值作为旧值
                    alpha_old_1 = self.alpha[i]
                    alpha_old_2 = self.alpha[j]
                    # 根据标签是否一致来生成不同的L和H
                    if y1 != y2:
                        l = max(0, alpha_old_2 - alpha_old_1)
                        h = min(self.c, self.c + alpha_old_2 - alpha_old_1)
                    else:
                        l = max(0, alpha_old_2 + alpha_old_1 - self.c)
                        h = min(self.c, alpha_old_2 + alpha_old_1)
                    # 如果l和h相等，则该变量无法继续优化，跳到下一个循环
                    if l == h:
                        continue
                    # 计算α新值，根据式(18)更新alpha2值
                    k11 = self.k[i][i]
                    k12 = self.k[i][j]
                    k21 = self.k[j][i]
                    k22 = self.k[j][j]
                    alpha_new_2 = alpha_old_2 + y2 * (e1 - e2) / (k11 + k22 - 2 * k12)
                    # 剪辑alpha2值
                    if alpha_new_2 < l:
                        alpha_new_2 = l
                    elif alpha_new_2 > h:
                        alpha_new_2 = h
                    # 更新alpha1
                    alpha_new_1 = alpha_old_1 + y1 * y2 * (alpha_old_2 - alpha_new_2)
                    # 根据式(21)和式(22)计算b1和b2的值
                    b_1_new = -1 * e1 - y1 * k11 * (alpha_new_1 - alpha_old_1) \
                              - y2 * k21 * (alpha_new_2 - alpha_old_2) + self.b
                    b_2_new = -1 * e2 - y1 * k12 * (alpha_new_1 - alpha_old_1) \
                              - y2 * k22 * (alpha_new_2 - alpha_old_2) + self.b
                    # 根据alpha1和alpha2的值确定新的b的值
                    if (alpha_new_1 > 0) and (alpha_new_1 < self.c):
                        b_new = b_1_new
                    elif (alpha_new_2 > 0) and (alpha_new_2 < self.c):
                        b_new = b_2_new
                    else:
                        b_new = (b_1_new + b_2_new) / 2
                    # 更新
                    self.alpha[i] = alpha_new_1
                    self.alpha[j] = alpha_new_2
                    self.b = b_new
                    self.e[i] = self.cal_ei(i)
                    self.e[j] = self.cal_ei(j)
                    # 如果alpha2的该变量过小，则视其没有改变
                    if math.fabs(alpha_new_2 - alpha_old_2) >= 0.00001:
                        param_changed += 1
        # 查找支持向量
        for i in range(self.m):
            if self.alpha[i] > 0:
                self.support_vector_index.append(i)

    def cal_single_kernel(self, x1, x2):
        # 单独计算核函数
        result = (x1 - x2) * (x1 - x2).T
        result = np.exp(-1 * result / (2 * self.sigma ** 2))
        return np.exp(result)

    def predict(self, x):
        result = 0
        # 遍历支持向量，计算求和式
        for i in self.support_vector_index:
        	# 根据式(23)
            temp = self.cal_single_kernel(self.train_data[i, :], np.mat(x))
            result += self.alpha[i] * self.train_label[i] * temp
        result += self.b
        return np.sign(result)

    def test_model(self, test_data, test_label):
        errorCnt = 0
        for i in range(len(test_data)):
            result = self.predict(test_data[i])
            if result != test_label[i]:
                errorCnt += 1
        return 1 - errorCnt / len(test_data)

---

4. 支持向量机总结

支持向量机是一种典型的二分类算法，在训练数据集线性可分时，使用最大间隔法的学习策略即可得到线性可分支持向量机。而现实中训练数据一般都是不可分的，或训练数据是近似线性可分的，这时可以引入松弛变量得到一个软间隔支持向量机。最后，对于输入空间中的非线性分类问题，可以通过非线性变换将它转化为某个高维特征空间中的线性分类问题，从而在高维特征空间中学习线性支持向量机。而这种变换通常是通过引入核函数实现。对于$\mathrm{S}\mathrm{M}\mathrm{O}$算法，它是支持向量机的一种快速算法，其特点是不断地将元二次规划问题分解为只有两个变量的二次规划子问题，并对子问题进行解析求解，直到所有变量满足$\mathrm{K}\mathrm{K}\mathrm{T}$条件为止。

---

参考

1. 统计学习方法/李航著。—2版。—北京：清华大学出版社，2019（2019.6重印）.
2. https://github.com/Dod-o/Statistical-Learning-Method_Code（支持向量机代码）.

---

完

---