机器学习（六）：支持向量机(SVM)

引言

    支持向量机（support vector machines,SVM）是一种二值分类模型。分类学习最基本的想法就是基于训练集在样本空间中找到一个分隔超平面（separating hyperplane），将不同类别的样本分开。但能将训练样本分开的分隔面可能有很多，我们应该努力去找哪一个呢？直观上看，应该去找位于两类训练样本‘正中间’的分隔面，即图1中的红线。

图1  线性可分支持向量机

    如何寻找这条红线？我们希望找到离分隔面最近的点，确保它们离分隔面的距离尽可能远。这里点到分隔面的距离称为间隔（margin）。我们要做的就是为红线设一线性方程，用点到线的距离公式计算间隔，求出能使间隔最大化的线性方程即可求出分隔超平面。
    由于寻找分隔超平面就是寻找能使间隔最大化的函数的值，介绍理论知识部分会用到求函数极值的许多数学知识，均在‘数学预备知识’中介绍，此部分只给出结论，不予证明，有此数学基础可跳过。另外，现实中很多数据并不像图1那样清晰可分，更多时候是如图2或图3所示，它们分别对应支持向量机中由简至繁的模型：线性可分支持向量机、线性支持向量机、非线性支持向量机。

图2  线性支持向量机

图3  非线性支持向量机

一、数学预备知识

无约束条件下求函数极值

1.函数极值必要条件

设函数$z=f(x,y)$在点$(x_0,y_0)$具有偏导数，且在点$(x_0,y_0)$处有极值，则有$$f_x(x_0,y_0)=0$$$$f_y(x_0,y_0)=0$$以上关于二元函数的概念，可推广到$n$元函数。
例1  某厂要用钢板做成一个体积为$2m^3$的长方体有盖水箱，问当长、宽、高各取怎样的尺寸时，才能使用料最省？
解：
设水箱的长、宽各为$x$、$y$，则其高应为$\frac{2}{xy}$，此水箱所用材料的面积$$A=2\left(xy+x\cdot \frac{2}{xy}+y\cdot \frac{2}{xy}\right)=2\left(xy+\frac{2}{y}+\frac{2}{x}\right)x>0,y>0$$下面求使上述函数取得最小值的点(x,y)，求其对x、y的一阶偏导数得$$A_x=2\left(y-\frac{2}{x^2}\right)=0$$$$A_y=2\left(x-\frac{2}{y^2}\right)=0$$解得$x=\sqrt[3]{2}$，$y=\sqrt[3]{2}$。
根据题意可知，水箱所用材料面积的最小值一定存在，并在开区域 D = { ( x , y ) ∣ x > 0 , y > 0 } D=\{(x,y)|x>0,y>0\} D={(x,y)∣x>0,y>0}内取得，又知函数在$D$内只有唯一的驻点$(\sqrt[3]{2},\sqrt[3]{2})$，因此可判定，当长、宽、高各取$\sqrt[3]{2}$、$\sqrt[3]{2}$、$\frac{2}{xy}=\sqrt[3]{2}$时，使用料最省。

求等式约束条件下函数极值,可用拉格朗日乘子法求解

2.拉格朗日乘子法

要找函数$z=f(x,y)$在约束条件$$s.t.\phi (x,y)=0(1)$$下的可能极值点，可以先作拉格朗日函数$$L(x,y,\lambda )=f(x,y)+\lambda \phi (x,y)$$其中$\lambda$为参数，求其对$x$与$y$的一阶偏导数，并使之为零，然后与方程(1)联立起来:$$f_x(x,y)+\lambda {\phi }_x(x,y)=0$$$$f_y(x,y)+\lambda {\phi }_y(x,y)=0$$$$\phi (x,y)=0$$由这方程组解出$x$、$y$及$\lambda$，这样得到的$(x,y)$就是函数$f(x,y)$在附加条件$\phi (x,y)=0$下的可能极值点。
$\lambda$称为拉格朗日乘子。
这方法还可以推广到自变量多于两个而条件多于一个的情形。
例如要求函数$u=f(x,y,z,t)$在约束条件$$s.t.{\phi }_1(x,y,z,t)=0,{\phi }_2(x,y,z,t)=0(2)$$下的可能极值点，可以先作拉格朗日函数$$L(x,y,z,t,{\lambda }_1,{\lambda }_2)=f(x,y,z,t)+{\lambda }_1{\phi }_1(x,y,z,t)+{\lambda }_2{\phi }_2(x,y,z,t)$$其中${\lambda }_1$、${\lambda }_2$均为参数，求其对$x$与$y$的一阶偏导数,并使之为零，然后与(2)中2个方程联立起来求解，这样得出的$(x,y,z,t)$就是函数$f(x,y,z,t)$在附加条件(2)下的可能极值点。
至于如何确定所求得的点是否为极值点，在实际问题中往往可根据问题本身的性质来判定。
例2  求表面积为$a^2$体积为最大的长方体的体积。
解:
设长方体的三棱长为$x,y,z$，则问题就是在条件$\phi (x,y,z)=2xy+2xz+2yz-a^2=0下$，求函数$V=xyz(x>0,y>0,z>0)$的最大值。作拉格朗日函数 $$L(x,y,z,\lambda )=xyz+\lambda (2xy+2xz+2yz-a^2)$$求其对$x,y,z$的偏导数，并使之为零，得到 $$yz+2\lambda (y+z)=0$$$$xz+2\lambda (x+z)=0$$$$xy+2\lambda (x+y)=0$$再与约束条件$\phi (x,y,z)$联立求解，得$x=y=z=\frac{\sqrt{6}}{6}a$，这是唯一可能的极值点，因为由问题本身可知最大值一定存在，所以最大值就在这个可能的极值点处取得。
固表面积为$a^2$体积为最大的长方体的体积为$xyz=\frac{\sqrt{6}}{36}{a}^3$。

求不等式约束条件下函数极值,可用K-T条件求解

3.库恩-塔克条件(K-T条件)

定义: 线性规划的一般形式

设$X^{\ast }$是非线性规划(4)式的极小点，且$X^{\ast }$点的所有起作用约束的梯度线性无关，则存在向量$T=({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n{)}^T$，使下述条件成立:

条件(5)式常简称为K-T条件，满足这个条件的点$X^{\ast }$称为库恩-塔克点(或K-T点)。
为了得出非线性规划(3)式的库恩-塔克条件,我们用

代替约束条件$h_i(X)=0$，这样即可得出(5)求解。
上式中，${\lambda }_1,{\lambda }_2,...,{\lambda }_n$称为广义拉格朗日(Lagrange)乘子。
例3  用K-T条件解下述非线性规划问题$$\min f(x)=(x-3{)}^2$$$$s.t.0\le x\le 5$$解:
先将该非线性规划问题写成以下形式$$\min f(x)=(x-3{)}^2$$$$s.t.g_1(x)=x\ge 0$$$$g_2(x)=5-x\ge 0$$写出其目标函数和约束函数的梯度: $$\nabla f(x)=2(x-3)$$$$\nabla g_1(x)=1,\nabla g_2(x)=-1$$对第一个和第二个约束条件分别引入广义拉格朗日乘子${\lambda }_1$和${\lambda }_2$，则可写出该问题的K-T条件如下: $$2(x-3)-{\lambda }_1+{\lambda }_2=0$$$${\lambda }_{1}x=0$$$${\lambda }_2(5-x)=0$$$${\lambda }_1,{\lambda }_2\ge 0$$解得${\lambda }_1=0$，${\lambda }_2=0$，$x=3$。
固函数在约束条件下的最小值为$f(3)=0$。

例4  写出下述非线性规划问题的K-T条件 $$\min f(x_1,x_2)=(x_1-3{)}^2+(x_2-2{)}^2$$$$s.t.4-x_1-x_2\ge 0$$$$x_1,x_2\ge 0$$解:
先将该非线性规划问题写成以下形式$$\min f(x_1,x_2)=(x_1-3{)}^2+(x_2-2{)}^2$$$$s.t.g_1(x_1,x_2)=4-x1-x2\ge 0$$$$g_2(x_1,x_2)=x1\ge 0$$$$g_3(x_1,x_2)=x2\ge 0$$写出其目标函数和约束函数的梯度:$$\nabla f(x_1,x_2)=(2x_1-6,2x_2-4{)}^T$$$$\nabla g_1(x_1,x_2)=(-1,-1{)}^T,\nabla g_2(x_1,x_2)=(1,0{)}^T,\nabla g_3(x_1,x_2)=(0,1{)}^T$$对三个约束条件分别引入广义拉格朗日乘子${\lambda }_1$、${\lambda }_2$和${\lambda }_3$，则可写出该问题的K-T条件如下: $$(2x_1-6,2x_2-4{)}^T-{\lambda }_1(-1,-1{)}^T-{\lambda }_2(1,0{)}^T-{\lambda }_3(0,1{)}^T=0$$分解为:$$2x_1-6+{\lambda }_1-{\lambda }_2=0$$$$2x_2-4+{\lambda }_1-{\lambda }_3=0$$$${\lambda }_1(4-x_1-x_2)=0$$$${\lambda }_2{x}_1=0$$$${\lambda }_3{x}_2=0$$$${\lambda }_1,{\lambda }_2,{\lambda }_3\ge 0$$

求不等式约束条件下函数极值,若原始问题过于复杂,可转换成对偶问题

4.拉格朗日对偶问题

1)原始问题
假设$f(x)$、$c_i(x)$、$h_j(x)$是定义在$R^n$上的连续可微函数，考虑约束条件

称此约束最优化问题为原始最优化问题或原始问题。
作广义拉格朗日函数$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$其中$x=(x_1,x_2,...,x_n{)}^T\in R^n$，${\alpha }_i$和${\beta }_j$是拉格朗日乘子且${\alpha }_i\ge 0$。考虑$x$的函数:$${\theta }_p(x)=\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$这里下标P表示原始问题，则$${\theta }_p(x)=\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$因为${\alpha }_i\ge 0$，$c_i(x)\le 0$，$h_j(x)=0$，解得${\theta }_P(x)=f(x)$。
考虑极小化问题$$\underset{x}{\min }{\theta }_p(x)=\underset{x}{\min }\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )$$它是与原始最优化问题(6)等价的，即它们有相同的解。问题${\min }_x{\max }_{\alpha ,\beta ,{\alpha }_i\ge 0}L(x,\alpha ,\beta )$称为广义拉格朗日的极小极大问题。
为了方便，定义原始问题的最优值$$p^{\ast }=\underset{x}{\min }{\theta }_p(x)$$称为原始问题的值。
2)对偶问题$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$$再考虑极大化${\theta }_D(\alpha ,\beta )={\min }_{x}L(x,\alpha ,\beta )$，即$$\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }\underset{x}{\min }L(x,\alpha ,\beta )$$问题${\max }_{\alpha ,\beta ,{\alpha }_i\ge 0}{\min }_{x}L(x,\alpha ,\beta )$称为广义拉格朗日的极大极小问题。
将拉格朗日函数的极大极小问题表示为约束最优化问题：

称为原始问题的对偶问题。
为了方便，定义对偶问题的最优值$$d^{\ast }=\underset{\alpha ,\beta ,{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )$$称为对偶问题的值。
3)原始问题与对偶问题的关系
对原始问题(6)和对偶问题(7)，假设函数$f(x)$和$c_i(x)$是凸函数，$h_j(x)$是仿射函数，并且不等式约束$c_i(x)$是严格可行的，即存在$x$，对所有$i$有$c_i(x)<0$，则存在$x^{\ast }$、${\alpha }^{\ast }$、${\beta }^{\ast }$，使得$x^{\ast }$是原始问题的解，${\alpha }^{\ast }$、${\beta }^{\ast }$是对偶问题的解，并且$$p^{\ast }=d^{\ast }=L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })$$$x^{\ast }$和${\alpha }^{\ast }$、${\beta }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$x^{\ast }$、${\alpha }^{\ast }$、${\beta }^{\ast }$满足K-T条件。
例5  求下列非线性规划问题的对偶问题$$\min {x_1}^2+{x_2}^2$$$$s.t.4-x_1-x_2\le 0$$解：
该问题的拉格朗日函数为$$L(x,\alpha )={x_1}^2+{x_2}^2+\alpha (4-x_1-x_2),\alpha \ge 0$$设$f(x)={x_1}^2+{x_2}^2$，其中$x=(x_1,x_2{)}^T$。则原始问题为：$$\underset{x}{\min }f(x)=\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\alpha \ge 0}{\max }L(x,\alpha )$$对偶问题为：$$\underset{\alpha ,\alpha \ge 0}{\max }{\theta }_D(\alpha )=\underset{\alpha ,\alpha \ge 0}{\max }\underset{x}{\min }L(x,\alpha )$$解${\min }_{x}L(x,\alpha )={\min }_x{x_1}^2+{x_2}^2+\alpha (4-x_1-x_2)$，求其对$x_1$、$x_2$的一阶偏导数得$$L_{x1}=2x_1-\alpha =0$$$$L_{x2}=2x_2-\alpha =0$$解得$x_1=\frac{\alpha }{2}$，$x_2=\frac{\alpha }{2}$，代入得${\min }_{x}L(x,\alpha )=-\frac{{\alpha }^2}{2}+4\alpha$
求得对偶问题为$$\underset{\alpha ,\alpha \ge 0}{\max }{\theta }_D(\alpha )=\underset{\alpha ,\alpha \ge 0}{\max }-\frac{{\alpha }^2}{2}+4\alpha$$

二、线性可分支持向量机

1.基本型

给定训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} D={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}， y i ∈ { − 1 , 1 } y_i∈\{-1,1\} yi​∈{−1,1}，分类学习最基本的想法就是基于训练集$D$在样本空间中找到一个分隔超平面，将不同类别的样本分开。
在样本空间中，分隔超平面可通过如下线性方程来描述：$$w^{T}x+b=0(8)$$其中$w=(w_1,w_2,\cdots ,w_n{)}^T$为法向量，决定了分隔面的方向，$b$为位移项，决定了分隔面与原点之间的距离。样本空间中任意点x到分隔面的距离可写为$$r=\frac{|w^{T}x+b|}{||w||}$$证明：
考虑二维空间，则(8)可表示为$w_1{x}_1+w_2{x}_2+b=0$，点$(x_1,x_2)$到线的距离为$$r=\frac{|w_1{x}_1+w_2{x}_2+b|}{\sqrt{{w_1}^2+{w_2}^2}}$$考虑三维空间，则(8)可表示为$w_1{x}_1+w_2{x}_2+w_3{x}_3+b=0$，点$(x_1,x_2,x_3)$到面的距离为$$r=\frac{|w_1{x}_1+w_2{x}_2+w_3{x}_3+b|}{\sqrt{{w_1}^2+{w_2}^2+{w_3}^2}}$$以此类推，可得$n$维空间，点$(x_1,x_2,\dots ,x_n$)到分隔面的距离为$$r=\frac{|w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+b|}{\sqrt{{w_1}^2+{w_2}^2+\cdots +{w_n}^2}}=\frac{|w^{T}x+b|}{||w||}$$
假设分隔面能将训练样本正确分类，即对于$(x_i,y_i)\in D$，若$y_i=+1$，则有$w^{T}x+b>0$；若$y_i=-1$,则有$w^{T}x+b<0$。令

如图4所示，距离分隔面最近的这几个训练样本点（位于黑线上的点）使式(9)的等号成立，它们被称为“支持向量”，两个异类支持向量到超平面的距离（两条黑线的间隔）之和为$$\gamma =\frac{2}{||w||}$$它被称为间隔。
证明：
假设$\xi >0$且${\xi }^2=1$。
若$y_i=+1$，则有$w^{T}x+b>0$等价于$w^{T}x+b\ge \xi$，等号两边同时乘以$\xi$得$\xi w^{T}x+\xi b\ge 1$；
若$y_i=-1$，则有$w^{T}x+b<0$等价于$w^{T}x+b\le -\xi$，等号两边同时乘以$\xi$得$\xi w^{T}x+\xi b\le -1$；
即若分隔面能将训练样本正确分类，则总存在缩放变换$\xi w\to w^{\prime }$和$\xi b\to b^{\prime }$使式(9)成立。

图4

欲找到具有“最大间隔”的分隔面，也就是要找到能满足式(9)中约束的参数$w$和$b$，使
得$\gamma$最大，即

显然为了最大化间隔，仅需要最大化$||w|{|}^{-1}$，这等价于最小化$||w|{|}^2$，于是式(10)可重写为

这就是支持向量机的基本型。

2.对偶问题

基本型的对偶问题为：

证明：
基本型的拉格朗日函数为$$L(w,b,\alpha )=\frac{||w|{|}^2}{2}+\sum _{i=1}^n{\alpha }_i\left(1-y_i(w^T{x}_i+b)\right),i=1,2,...,n$$其中$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_n)$，设$f(w,b)=\frac{||w|{|}^2}{2}$，则原始问题为$$\underset{w,b}{\min }f(w,b)=\underset{w,b}{\min }{\theta }_P(w,b)=\underset{w,b}{\min }\underset{\alpha ,\alpha \ge 0}{\max }L(w,b,\alpha )$$对偶问题为：$$\underset{\alpha ,\alpha \ge 0}{\max }{\theta }_D(\alpha )=\underset{\alpha ,\alpha \ge 0}{\max }\underset{w,b}{\min }L(w,b,\alpha )$$要求对偶问题，先求$mi{n}_{w,b}L(w,b,\alpha )$，即求$L(w,b,\alpha )$对$w$和$b$的一阶偏导数并使之为零$$L_w=w-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0$$$$L_b=-\sum _{i=1}^n{\alpha }_i{y}_i=0$$解得$$w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i(13)$$$$0=\sum _{i=1}^n{\alpha }_i{y}_i(14)$$将(13)代入拉格朗日函数$L(w,b,\alpha )$，并利用(14)得

已知$mi{n}_{w,b}L(w,b,\alpha )$则可得对偶问题(12)

3.利用对偶问题求解$w$和$b$

设${\alpha }^{\ast }=({{\alpha }_1}^{\ast },{{\alpha }_2}^{\ast },...,{{\alpha }_n}^{\ast }{)}^T$是对偶问题(12)的解，则存在下标$j$，使得${{\alpha }_j}^{\ast }>0$，并可按下式求得原始问题(11)的解$w^{\ast }$、$b^{\ast }$得$$w^{\ast }=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i(15)$$$$b^{\ast }=y_i-\sum _{i=1}^n{\alpha }_i{y}_i{x_i}^T{x}_j(16)$$
证明：
$w^{\ast }$、$b^{\ast }$和${\alpha }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$w^{\ast }$、$b^{\ast }$、${\alpha }^{\ast }$满足K-T条件。
先将(11)式写成以下形式：$$\underset{w,b}{\min }f(w,b)=\frac{||w|{|}^2}{2}$$$$s.t.g_i(w,b)=y_i(w^T{x}_i+b)-1\ge 0,i=1,2,...,n$$写出其目标函数和约束函数的梯度：$$\nabla f(w,b)=(||w||,0{)}^T,\nabla g_i(w,b)=(x_i{y}_i,y_i{)}^T$$对$n$个约束条件分别引入广义拉格朗日乘子${\alpha }_1,{\alpha }_2,...,{\alpha }_n$，则可写出该问题的K-T条件如下：$$(||w||,0{)}^T-\sum _{i=1}^n{\alpha }_i(x_i{y}_i,y_i{)}^T=0$$将上式分解为: $$||w||=\sum _{i=1}^n{\alpha }_i{x}_i{y}_i=0$$$$-\sum _{i=1}^n{\alpha }_i{y}_i=0$$$${\alpha }_i(y_i(w^T{x}_i+b)-1)=0$$$${\alpha }_i\ge 0,i=1,2,...,n$$由此解得式(15)
其中至少有一个${{\alpha }_j}^{\ast }>0$（用反证法，假设${\alpha }^{\ast }=0$，由式(15)可知$w^{\ast }=0$，而$w^{\ast }=0$不是原始问题(11)的解，产生矛盾），对此$j$有$$y_j(w^{\ast }{x}_j+b^{\ast })-1=0(17)$$注意到${y_j}^2=1$，将(17)两边同时乘以$y_j$，将式(15)代入即得式(16)
综上所述，对于给定的线性可分训练数据集，可以先求对偶问题(12)的解${\alpha }^{\ast }$，再利用式(15) (16)求得原始问题的解$w^{\ast }$和$b^{\ast }$，从而得到分隔超平面的线性方程。这种算法称为线性可分支持向量机的对偶算法，是线性可分支持向量机学习的基本算法。

三、线性支持向量机

1.基本型

在前面的讨论中，我们一直假定训练样本是线性可分的，即存在一个分隔面能将不同类的样本完全划分开。然而在现实任务中，往往存在一些异常点。线性不可分意味着某些样本点$(x_i,y_i)$不能满足函数间隔大于等于1的约束条件，如图5绿色框中的两个样本点。为了解决这个问题，可以对每个样本点$(x_i,y_i)$引进一个松弛变量${\xi }_i\ge 0$，使函数间隔加上松弛变量大于等于1，这样，约束条件变为$$y_i(w^T{x}_i+b)+{\xi }_i\ge 1$$目标函数由原来的$mi{n}_{w,b}\frac{||w|{|}^2}{2}$变成$$\underset{w,b,\xi }{\min }\frac{||w|{|}^2}{2}+C\sum _{i=1}^n{\xi }_i(18)$$这里$C>0$称为惩罚参数，一般由应用问题决定，$C$值大时对误分类的惩罚增大，$C$值小时对误分类的惩罚减小。最小化目标函数(18)包含两层含义：使$\frac{||w|{|}^2}{2}$尽量小即间隔尽量大，同时使误分类点的个数尽量小。至此，线性支持向量机基本型如下：

图5

2.对偶问题

基本型的对偶问题为：

证明：
基本型的拉格朗日函数为$$L(w,b,\xi ,\alpha ,\mu )=\frac{||w|{|}^2}{2}+C\sum _{i=1}^n{\xi }_i+\sum _{i=1}^n{\alpha }_i\left(1-y_i(w^T{x}_i+b)-\xi \right)-\sum _{i=1}^n{\mu }_i{\xi }_i$$其中${\alpha }_i\ge 0$，${\mu }_i\ge 0$，设$f(w,b,\xi )=\frac{||w|{|}^2}{2}+C{\sum }_{i=1}^n{\xi }_i$，则原始问题为$$\underset{w,b,\xi }{\min }f(w,b,\xi )=\underset{w,b,\xi }{\min }{\theta }_P(w,b,\xi )=\underset{w,b,\xi }{\min }\underset{\alpha ,\mu }{\max }L(w,b,\xi ,\alpha ,\mu )$$对偶问题为：$$\underset{\alpha ,\mu }{\max }{\theta }_D(\alpha ,\mu )=\underset{\alpha ,\mu }{\max }\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )$$解${\min }_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )$，求$L(w,b,\xi ,\alpha ,\mu )$对$w$、$b$和$\xi$的一阶偏导数得$$L_w=w-\sum _{i=1}^n{\alpha }_i{x}_i{y}_i=0$$$$L_b=-\sum _{i=1}^n{\alpha }_i{y}_i=0$$$$L_{\xi }=C-{\alpha }_i-{\mu }_i=0$$解得$$w=\sum _{i=1}^n{\alpha }_i{x}_i{y}_i(21)$$$$\sum _{i=1}^n{\alpha }_i{y}_i=0(22)$$$$C-{\alpha }_i-{\mu }_i=0(23)$$将(21)代入${\min }_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )$，并利用(22)(23)求得对偶问题$$\underset{\alpha ,\mu }{\max }\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x_i}^T{x}_j$$$$s.t.\sum _{i=1}^n{\alpha }_i{y}_i=0$$$$C-{\alpha }_i-{\mu }_i=0(24)$$$${\alpha }_i\ge 0,i=1,2,\dots ,n$$$${\mu }_i\ge 0,i=1,2,\dots ,n$$利用等式(24)得${\mu }_i=C-{\alpha }_i$，即可消去${\mu }_i$，并将(24)的约束写成$$0\le {\alpha }_i\le C$$从而得到最终的对偶问题(20)

3.利用对偶问题求解$w$和$b$

设${\alpha }^{\ast }=({{\alpha }_1}^{\ast },{{\alpha }_2}^{\ast },...,{{\alpha }_n}^{\ast }{)}^T$是对偶问题(20)的解，若存在${\alpha }^{\ast }的$一个分量${{\alpha }_j}^{\ast }$，满足$0<{{\alpha }_j}^{\ast }<C$，则原始问题(19)的解$w^{\ast }$、$b^{\ast }$可按下式求得$$w^{\ast }=\sum _{i=1}^n{\alpha }_i{x}_i{y}_i(25)$$$$b^{\ast }=y_i=\sum _{i=1}^n{\alpha }_i{y}_i{x_i}^T{x}_j(26)$$证明：
$w^{\ast }$、$b^{\ast }$和${\alpha }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$w^{\ast }$、$b^{\ast }$、${\alpha }^{\ast }$满足K-T条件。
先将式(19)写成以下形式：$$\underset{w,b,\xi }{\min }f(w,b,\xi )=\frac{||w|{|}^2}{2}+C\sum _{i=1}^n{\xi }_i$$$$s.t.g_i(w,b,{\xi }_i)=y_i(w^T{x}_i+b)+{\xi }_i-1\ge 0$$$$h_i(w,b,{\xi }_i)={\xi }_i\ge 0$$写出其目标函数和约束函数的梯度：$$\nabla f(w,b,\xi )=(||w||,0,C{)}^T$$$$\nabla g_i(w,b,{\xi }_i)=(x_i{y}_i,y_i,1{)}^T,\nabla h_i(w,b,{\xi }_i)=(0,0,1{)}^T$$对$2n$个约束条件分别引入广义拉格朗日乘子${\alpha }_1,{\alpha }_2,...,{\alpha }_n$和${\mu }_1,{\mu }_2,\dots ,{\mu }_n$，则可写出该问题的K-T条件如下：$$(||w||,0,C{)}^T-\sum _{i=1}^n{\alpha }_i(x_i{y}_i,y_i,1{)}^T=\sum _{i=1}^n{\mu }_i(0,0,1{)}^T=0$$将上式分解为: $$||w||-\sum _{i=1}^n{\alpha }_i{x}_i{y}_i=0$$$$-\sum _{i=1}^n{\alpha }_i{y}_i=0$$$$C-{\alpha }_i-{\mu }_i=0$$$${\alpha }_i(y_i(w^T{x}_i+b)+{\xi }_i-1)=0,i=1,2,\dots ,n$$$${\mu }_i{\xi }_i=0,i=1,2,\dots ,n$$$${\alpha }_i\ge 0,i=1,2,...,n$$$${\mu }_i\ge 0,i=1,2,...,n$$由此解得式(25)
选择一个${{\alpha }_j}^{\ast }$满足$0<{{\alpha }_j}^{\ast }<C$，对此有$$y_j(w^{\ast }{x}_j+b^{\ast })-1=0(27)$$注意到${y_j}^2=1$，将(27)两边同时乘以$y_j$，将式(25)代入即得式(26)
综上所述，对于给定的训练数据集，可以先求对偶问题(20)的解${\alpha }^{\ast }$，再利用式(25)(26)求得原始问题的解$w^{\ast }$和$b^{\ast }$，从而得到分隔超平面的线性方程。
</br/>

四、非线性支持向量机

1、非线性分类问题

    一般来说，对给定的一个训练数据集，如果能用一个超曲面将数据集正确分开，则称这个问题为非线性分类问题。
    在图3中，数据点处于一个圆中，无法用直线（线性模型）将数据正确分开，但可以用一条椭圆曲线（非线性模型）将它们正确分开。
    非线性问题往往不好求解，所以希望能用线性分类问题的方法解决，所采用的方法是进行一个非线性变换，将非线性问题变换为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题。

2、核函数的定义

    设X是输入空间，又称H为特征空间（希尔伯特空间），如果存在一个从X到H的映射$$\phi (x):X\to H$$使得对所有z,x∈X，函数K(x,z)满足条件$$K(x,z)=\phi (x)\cdot \phi (z)$$则称K(x,z)为核函数，φ(x)为映射函数，式中φ(x)·φ(z)为φ(x)和φ(z)的内积。
    核技巧的想法是，在学习与预测中只定义核函数K(x,z)，而不显式地定义映射函数φ。通常，直接计算K(x,z)比较容易，而通过φ(x)和φ(z)计算K(x,z)并不容易。
例6
如下图，左边椭圆方程为$$w_1(x^{(1)}{)}^2+w_2(x^{(2)}{)}^2+b=0$$定义映射$$y=\phi (x)=((x^{(1)}{)}^2,(x^{(2)}{)}^2{)}^T$$则可将椭圆变换为下图中右边的直线$$w_1{y}^{(1)}+w_2{y}^{(2)}+b=0$$根据定义可得对所有z,x∈X，核函数为$$K(x,z)=\phi (x)\cdot \phi (z)=(x^{(1)}{)}^2(z^{(1)}{)}^2+(x^{(2)}{)}^2(z^{(2)}{)}^2$$

3、核技巧在支持向量机中的应用

    我们注意到在线性支持向量机的对偶问题中，无论是目标函数还是决策函数都只涉及输入实例与实例之间的内积。在对偶问题(20)的目标函数中的内积$x_i^T{x}_j$可以用核函数$K(x_i,x_j)=x_i^T{x}_j$来代替。

4、常用核函数

</br/>

五、序列最小最优化(Sequential Minimal Optimization，SMO)算法

    如何求解式(20)的解α*呢？人们通过利用问题本身的特性，提出了很多高效算法，SMO就是其中一个著名的代表，这种算法1998年由Platt提出。
    将对偶问题(20)的目标函数求极大转换为求极小，即可得到SMO算法要解的如下问题：

其中$K(x_i,x_j)={x_i}^T{x}_j$，在这个问题中，变量是拉格朗日乘子，一个变量${\alpha }_i$对应一个样本点$(x_i,y_i)$，变量的总数等于训练样本容量$N$。

1.SMO算法思路

    SMO是一种启发式算法，该算法并不直接求解对偶问题，而是从K-T条件入手，如果所有变量的解${\alpha }^{\ast }$都满足此最优化问题的K-T条件，那么这个最优化问题的解就得到了，因为K-T条件是该最优化问题的充分必要条件。具体做法如下：
    首先，初始化一个$\alpha$，此$\alpha$满足对偶问题的约束条件(29)(30)，若$\alpha$也刚好满足K-T条件，得解。然而，很多时候我们需要不断优化$\alpha$，直到$\alpha$即满足(29)(30)也满足K-T条件，以此来求得最优解。
    如何优化$\alpha$呢？
    先选择两个待优化的变量${{\alpha }_i}^{old}$和${{\alpha }_j}^{old}$（其中一个是违反K-T条件最严重的，另一个由约束条件自动确定），其他变量固定，从而构造一个新的二次规划问题，问题就变成简单的求二次函数极值。我们不太可能求解一次就让优化后的${\alpha }^{new}$满足K-T条件，但是关于优化后的${{\alpha }_i}^{new}$和${{\alpha }_j}^{new}$应该更接近原始问题的解，因为这会使得原始二次规划问题的目标函数值变得更小。
    如此，SMO算法将原问题不断分解为子问题并对子问题求解，进而达到求解原问题的目的。

2.构造两个变量的二次规划问题

不失一般性，假设选择的两个变量是${\alpha }_1$和${\alpha }_2$，其他变量${\alpha }_i$（$i=3,4,\dots ,n$）是固定的。于是(28)-(30)的子问题可以写成：

其中$K_{ij}=K(x_i,x_j)$，$i,j=1,2,\dots ,n$，$\xi$是常数。
######3.两个变量二次规划问题的求解方法
假设问题的初始解为${{\alpha }_i}^{old}$、${{\alpha }_j}^{old}$，最优解为${{\alpha }_i}^{new}$、${{\alpha }_j}^{new}$，并且假设未经剪辑（忽略约束条件(33)）时${\alpha }_2$的最优解为${{\alpha }_2}^{new,unc}$。
为了叙述简单，记$$g(x)=\sum _{j=1}^n{\alpha }_j{y}_{j}K(x,x_j)+b$$令$$E_i=g(x_i)-y_i=\left(\sum _{j=1}^n{\alpha }_i{y}_{i}K(x_i,x_j)+b\right)-y_i,i=1,2(34)$$当$i=1,2$时，$E_i$为函数$g(x)$对输入$x_i$的预测值与真实输出$y_i$之差。
则$${{\alpha }_2}^{new,unc}={{\alpha }_2}^{old}+\frac{y_2(E_1-E_2)}{K_{11}+K_{22}-2K_{12}}(35)$$求${{\alpha }_2}^{new}$得

其中当$y_1$、$y_2$异号$$L=max(0,{{\alpha }_2}^{old}-{{\alpha }_1}^{old})，H=min(C,C+{{\alpha }_2}^{old}-{{\alpha }_1}^{old})$$当$y_1$、$y_2$同号$$L=max(0,{{\alpha }_2}^{old}+{{\alpha }_1}^{old}-C)，H=min(C,{{\alpha }_2}^{old}+{{\alpha }_1}^{old})$$由${{\alpha }_2}^{new}$求得${{\alpha }_1}^{new}$是$${{\alpha }_1}^{new}={{\alpha }_1}^{old}+y_1{y}_2({{\alpha }_2}^{old}-{{\alpha }_2}^{new})(36)$$证明：
①求未经剪辑（忽略约束条件(33)）时${\alpha }_2$的最优解${{\alpha }_2}^{new,unc}$
引进记号$$v_i=\sum _{j=3}^n{\alpha }_j{y}_{j}K(x_i,x_j)=g(x_i)-\sum _{j=1}^2{\alpha }_j{y}_{j}K(x_i,x_j)+b-b$$目标函数可写成$$W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{{\alpha }_1}^2+\frac{1}{2}{K}_{22}{{\alpha }_2}^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+\alpha +2)+y_1{v}_1{\alpha }_1+y_2{v}_2{\alpha }_2$$由${\alpha }_1{y}_1=\xi -{\alpha }_2{y}_2$，等式两边同时乘以$y_1$，由${y_i}^2=1$可将${\alpha }_1$表示为$${\alpha }_1=(\xi -{\alpha }_2{y}_2)y_1$$代入式(31)，得到只有α2的函数：

对α2求导数得

令其为0，得到

将$\xi ={{\alpha }_1}^{old}{y}_1+{{\alpha }_2}^{old}{y}_2$代入，得到

解得$${{\alpha }_2}^{new,unc}={{\alpha }_2}^{old}+\frac{y_2(E_1-E_2}{K_{11}+K_{22}-2K_{12}}$$
②求经剪辑（考虑约束条件(33)）${{\alpha }_2}^{new}$的取值范围
假设取值范围为$$L\le {{\alpha }_2}^{new}\le H$$考虑约束条件$0\le {\alpha }_i\le C,i=1,2$时${\alpha }_2$的最优解，首先分析约束条件$${\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^n{y}_i{\alpha }_i=\xi$$将${\alpha }_1$当做自变量，${\alpha }_2$为因变量，则上式变成$${\alpha }_2=-y_1{y}_2{\alpha }_1+y_2\xi (37)$$当$y_1$、$y_2$异号，令$k=y_2\xi$，则式(37)为直线方程${\alpha }_2={\alpha }_1+k$，图像如图6。
A线为$k>0$时，${{\alpha }_2}^{new}$的最大值为$C$，最小值为$k={{\alpha }_2}^{old}-{{\alpha }_1}^{old}$；
B线为$k<0$时，${{\alpha }_2}^{new}$的最大值为$C+k=C+{{\alpha }_2}^{old}-{{\alpha }_1}^{old}$，最小值为0；
综上，${{\alpha }_2}^{new}$需满足（${\alpha }_2$的取值即要在直线上，又要在方框内）：$$max(0,{{\alpha }_2}^{old}-{{\alpha }_1}^{old})\le {{\alpha }_2}^{new}\le min(C,C+{{\alpha }_2}^{old}-{{\alpha }_1}^{old})$$得$L=max(0,{{\alpha }_2}^{old}-{{\alpha }_1}^{old})$，$H=min(C,C+{{\alpha }_2}^{old}-{{\alpha }_1}^{old})$。

图6 当$y_1$、$y_2$同号，令$k=y_2ξ$，则式(37)为直线方程$α_2=-α_1+k$，图像如图7。 A线为$k>C$时，${α_2}^{new}$的最大值为$C$，最小值为$-Ck={α_2}^{old}+{α_1}^{old}-C$； B线为$k

4.两个变量（${{\alpha }_1}^{old}$和${{\alpha }_2}^{old}$）的选择方法

①第1个变量的选择
SMO称选择第1个变量的过程为外层循环，外层循环在训练样本中选取违反K-T条件最严重的样本点，并将其对应的变量作为第1个变量，具体地，检验训练样本点(xi,yi)是否满足K-T条件，即

证明：
在“线性支持向量机”利用对偶问题求w和b那一部分，我们求得如下K-T条件为：

将$g(x_i)$代入式(42)，则式(42)可写成${\alpha }_i(y_{i}g(x_i)+{\xi }_i-1)=0$。

②第2个变量的选择
    SMO称选择第2个变量的过程为内层循环。假设在外层循环中已经找到第1个变量${{\alpha }_1}^{old}$，现在要在内层循环中找第2个变量${{\alpha }_2}^{old}$，第2个变量的选择标准是希望能使${\alpha }_2$有足够大的变化。
    由式(35)可知，${{\alpha }_2}^{new}$是依赖于$|E_1-E_2|$的，为了加快计算速度，一种简单的做法是选择${\alpha }_2$，使其对应的$|E_1-E_2|$最大。因为${{\alpha }_1}^{old}$已定，$E_1$也确定了。如果$E_1$为正，选择最小的$E_i$作为$E_2$；如果$E_1$为负，选择最大的$E_i$作为$E_2$。为了节省计算时间，将所有$E_i$值保存在一个列表中。
    在特殊情况下，如果内层循环通过以上方法选择的${{\alpha }_2}^{new}$不能使目标函数有足够的下降，那么采用以下启发式规则继续选择${{\alpha }_2}^{new}$。遍历在间隔边界上的支持向量点，依次将其对应的变量作为${{\alpha }_2}^{new}$试用，直到目标函数有足够的下降。若找不到合适的${{\alpha }_2}^{new}$，那么遍历训练数据集；若仍找不到合适的${{\alpha }_2}^{new}$，则放弃第1个${{\alpha }_1}^{old}$，再通过外层循环寻求另外的${{\alpha }_1}^{old}$。

5.计算b和差值$E_i$

在每次完成两个变量的优化后，都要重新计算$b$值，因为$b$值关系到下一次优化时$E_i$的计算。$b^{new}$值的选择是使${{\alpha }_1}^{new}$、${{\alpha }_2}^{new}$满足K-T条件。
当$0<{{\alpha }_1}^{new}<C$
$${b_1}^{new}=-E_1-y_1{K}_{11}({{\alpha }_1}^{new}-{{\alpha }_1}^{old})-y_2{K}_{21}({{\alpha }_2}^{new}-{{\alpha }_2}^{old})+b^{old}$$当$0<{{\alpha }_2}^{new}<C$
$${b_2}^{new}=-E_2-y_1{K}_{12}({{\alpha }_1}^{new}-{{\alpha }_1}^{old})-y_2{K}_{22}({{\alpha }_2}^{new}-{{\alpha }_2}^{old})+b^{old}$$
如果${{\alpha }_1}^{new}$、${{\alpha }_2}^{new}$同时满足条件$0<{{\alpha }_i}^{new}<C$，$i=1,2$，那么
$$b^{new}={b_1}^{new}={b_2}^{new}$$如果${{\alpha }_1}^{new}$、${{\alpha }_2}^{new}$其中一个满足$0<{{\alpha }_i}^{new}<C$，另一个不满足$0<{{\alpha }_i}^{new}<C$，这里假设${{\alpha }_2}^{new}$满足$0<{{\alpha }_2}^{new}<C$，另一个即${{\alpha }_1}^{new}$是0或者C，那么$$b^{new}={b_2}^{new}$$如果${{\alpha }_1}^{new}$、${{\alpha }_2}^{new}$是0或者C，那么${b_1}^{new}$和${b_2}^{new}$以及它们之间的数都符合K-T条件，这时选择它们的中点作为$b^{new}$，那么$$b^{new}=\frac{{b_1}^{new}+{b_2}^{new}}{2}$$

在每次完成两个变量的优化之后，还必须更新对应的$E_i$值，并将它们保存在列表中。$E_i$值的更新要用到$b^{new}$值，以及所有支持向量对应的${\alpha }_j$，得$${E_i}^{new}=\sum _S{\alpha }_j{y}_{j}K(x_i,x_j)+b^{new}-y_i$$其中，$S$是所有支持向量$x_j$的集合。

6.SMO算法

输入：训练数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } D=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} D={(x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，$y_i\in -1,1$，$i=1,2,\dots ,N$，精度$\epsilon$，惩罚参数$C$
输出：近似解${\alpha }^{\ast }$
①取初始值${\alpha }^{(0)}=0$，令$k=0$
②选取优化变量${{\alpha }_1}^{(k)}$、${{\alpha }_2}^{(k)}$，解析求解两个变量的最优化问题，求得最优解${{\alpha }_1}^{(k+1)}$、${{\alpha }_2}^{(k+1)}$，更新$\alpha$为${\alpha }^{(k+1)}$。
③若在精度ε范围内满足停机条件

则转④；否则令$k=k+1$，转②
④取${\alpha }^{\ast }={\alpha }^{(k+1)}$

六、SMO代码实现

以下代码来自Peter Harrington《Machine Learing in Action》。
通过一个外循环来选择第一个alpha值，并且其选择过程会在两种方式之间进行交替：一种方式是在所有数据集上进行单遍扫描，另一种方式是在alpha值大于0和小于C的数据集上进行单遍扫描。第二个alpha值的选择与上述第二个变量基本一致。停机条件为无alpha可优化或到达最大循环次数。
主函数smoP需要五个参数：数据集、类别标签、常数C、精度ε和取消前最大的循环次数。
代码如下（保存为smo.py）：

# -- coding: utf-8 --
from numpy import *

def loadDataSet(fileName):
    dataMat = []; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = line.strip().split('\t')
        dataMat.append([float(lineArr[0]), float(lineArr[1])])
        labelMat.append(float(lineArr[2]))
    return dataMat,labelMat

def selectJrand(i,m):
    j=i
    while (j==i):
        j = int(random.uniform(0,m))
    return j

def clipAlpha(aj,H,L):
    if aj > H:
        aj = H
    if L > aj:
        aj = L
    return aj

class optStruct:
    def __init__(self,dataMatIn, classLabels, C, toler):
        self.X = dataMatIn
        self.labelMat = classLabels
        self.C = C
        self.tol = toler
        self.m = shape(dataMatIn)[0]
        self.alphas = mat(zeros((self.m,1))) #初始化alphas为0
        self.b = 0                           #初始化b为0
        self.eCache = mat(zeros((self.m,2))) #初始化Ek为0

def calcEk(oS, k):
    fXk = float(multiply(oS.alphas,oS.labelMat).T*(oS.X*oS.X[k,:].T)) + oS.b
    Ek = fXk - float(oS.labelMat[k])         #对应式(34)Ei=g(xi)+b-yi
    return Ek

def selectJ(i, oS, Ei):    #返回使｜E1-E2｜值最大的E2及E2的位置j
    maxK = -1
    maxDeltaE = 0
    Ej = 0
    oS.eCache[i] = [1,Ei]  #更新位置i的的E1，用1标示该值为更新过的Ei
    validEcacheList = nonzero(oS.eCache[:,0].A)[0] #返回eCache数组第一列不为0的值，即更新过的Ei的索引
    if (len(validEcacheList)) > 1:     #如果eCache的Ek个数大于1，返回使｜E1-E2｜值最大的E2及E2的位置j
        for k in validEcacheList:
            if k == i: continue
            Ek = calcEk(oS, k)
            deltaE = abs(Ei - Ek)
            if (deltaE > maxDeltaE):
                maxK = k; maxDeltaE = deltaE; Ej = Ek
        return maxK, Ej
    else:                  #如果eCache的Ek都是没有更新过的，则随机选择一个与E1不同位置的E2并返回E2的位置j
        j = selectJrand(i, oS.m)
        Ej = calcEk(oS, j)
    return j, Ej

def updateEk(oS, k):
    Ek = calcEk(oS, k)
    oS.eCache[k] = [1,Ek]

def innerL(i, oS):
    Ei = calcEk(oS, i) #计算E1
    if ((oS.labelMat[i]*Ei < -oS.tol) and (oS.alphas[i] < oS.C)) or ((oS.labelMat[i]*Ei > oS.tol) and (oS.alphas[i] > 0)):
    # (yiEi<0 => yig(xi)<1 and alpha<C) or (yiEi>0 => yig(xi)>1 and alpha>0) 选取违背K-T条件的alpha1
        j,Ej = selectJ(i, oS, Ei)                                   #选择smo的第二个变量
        alphaIold = oS.alphas[i].copy()                             #alpha1old
        alphaJold = oS.alphas[j].copy()                             #alpha2old
        if (oS.labelMat[i] != oS.labelMat[j]):                      #y1、y2异号
            L = max(0, oS.alphas[j] - oS.alphas[i])                 #L=max(0,alpha2old-alpha1old)
            H = min(oS.C, oS.C + oS.alphas[j] - oS.alphas[i])       #H=min(0,C+alpha2old-alpha1old)
        else:                                                       #y1、y2同号
            L = max(0, oS.alphas[j] + oS.alphas[i] - oS.C)          #L=max(0,alpha2old+alpha1old-C)
            H = min(oS.C, oS.alphas[j] + oS.alphas[i])              #H=min(0,alpha2old+alpha1old)
        if L==H: print "L==H"; return 0                                                        #异常情况，返回
        eta = 2.0 * oS.X[i,:]*oS.X[j,:].T - oS.X[i,:]*oS.X[i,:].T - oS.X[j,:]*oS.X[j,:].T #2K12-K11-K22
        if eta >= 0: print "eta>=0"; return 0                                                  #异常情况，返回
        oS.alphas[j] -= oS.labelMat[j]*(Ei - Ej)/eta                #式(35)计算alpha2new,unc
        oS.alphas[j] = clipAlpha(oS.alphas[j],H,L)                  #返回alpha2new
        updateEk(oS, j)                                             #更新E2的值
        if (abs(oS.alphas[j] - alphaJold) < 0.00001): print "j not moving enough"; return 0 #alpha2基本不变，返回
        oS.alphas[i] += oS.labelMat[j]*oS.labelMat[i]*(alphaJold - oS.alphas[j])      #式(36)求alpha1new
        updateEk(oS, i)                                             #更新E1的值
        #b1new
        b1 = oS.b - Ei- oS.labelMat[i]*(oS.alphas[i]-alphaIold)*oS.X[i,:]*oS.X[i,:].T - oS.labelMat[j]*(oS.alphas[j]-alphaJold)*oS.X[i,:]*oS.X[j,:].T
        #b2new
        b2 = oS.b - Ej- oS.labelMat[i]*(oS.alphas[i]-alphaIold)*oS.X[i,:]*oS.X[j,:].T - oS.labelMat[j]*(oS.alphas[j]-alphaJold)*oS.X[j,:]*oS.X[j,:].T
        #根据b值的计算结论更新b值
        if (0 < oS.alphas[i]) and (oS.C > oS.alphas[i]): oS.b = b1
        elif (0 < oS.alphas[j]) and (oS.C > oS.alphas[j]): oS.b = b2
        else: oS.b = (b1 + b2)/2.0
        return 1
    else: return 0

def smoP(dataMatIn, classLabels, C, toler, maxIter):
    #样本X,样本Y,惩罚参数C,精度e,最大循环次数maxIter
    oS = optStruct(mat(dataMatIn),mat(classLabels).transpose(),C,toler)
    iter = 0
    entireSet = True
    alphaPairsChanged = 0
    while (iter < maxIter) and ((alphaPairsChanged > 0) or (entireSet)):
    #循环次数大于maxIter或alphaPairsChanged连续2次等于0，则退出循环
        alphaPairsChanged = 0
        if entireSet:
            for i in range(oS.m):                    #循环所有alphas，作为smo的第一个变量
                alphaPairsChanged += innerL(i,oS)    #inner函数：如果有任意一对alphas值发生改变，返回1
                print "fullSet, iter: %d i:%d, pairs changed %d" % (iter,i,alphaPairsChanged)
            iter += 1
        else:
            nonBoundIs = nonzero((oS.alphas.A > 0) * (oS.alphas.A < C))[0]
            for i in nonBoundIs:                     #循环大于0小于C的alphas，作为smo的第一个变量
                alphaPairsChanged += innerL(i,oS)
                print "non-bound, iter: %d i:%d, pairs changed %d" % (iter,i,alphaPairsChanged)
            iter += 1
        if entireSet: entireSet = False
        elif (alphaPairsChanged == 0): entireSet = True
        print "iteration number: %d" % iter
    return oS.b,oS.alphas

def calcWs(alphas,dataArr,classLabels):  #利用式(25)alphas[i]*y[i]*xi求w的值
    X = mat(dataArr)
    labelMat = mat(classLabels).transpose()
    m,n = shape(X)
    w = zeros((n,1))
    for i in range(m):
        w += multiply(alphas[i]*labelMat[i],X[i,:].T)
    return w

数据集格式如下（保存为textSet.txt）：

3.542485	1.977398	-1
3.018896	2.556416	-1
7.551510	-1.580030	1
2.114999	-0.004466	-1
8.127113	1.274372	1
7.108772	-0.986906	1

运行命令如下：

通过loadDataSet函数转换数据集，运行smoP函数获取b及alphas值。

最后通过calcWs函数计算w的值。
可利用数据验证，若该值大于0属于1类，若该值小于0则属于-1类。









以上全部内容参考书籍如下：
李航《统计学习方法》
周志华《机器学习》
Peter Harrington《Machine Learing in Action》
《高等数学第六版下册（同济大学）》
《运筹学 第三版》清华大学出版社