【Matlab】【机器学习】SVM快速算法 - SMO（序列最小优化）从推理到实现

最新推荐文章于 2022-01-05 14:12:33 发布
最新推荐文章于 2022-01-05 14:12:33 发布
阅读量7.3k 收藏 37
点赞数 13
分类专栏： 基本知识 文章标签： 机器学习 svm 支持向量机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011861755/article/details/107966210
版权

支持向量机（SVM）---------------------------------------------------------

支持向量机（support vector machines, SVM）是一种监督二分类模型，具有完善的数学理论，其目标函数具有良好的凸性，可直接运用凸优化方法一次性找到最佳分类超平面。
设
K i j = K ( x i , x j ) K_{ij}=K(x_i,x_j) Kij​=K(xi​,xj​)
是数据向量 x i x_i xi​和 x j x_j xj​的内积，可以是线性内积（线性核函数），也可以是高斯内积（高斯核函数）。若为高斯内积，则为非线性SVM。
由内积表达式，有
K i j = K j i K_{ij}=K_{ji} Kij​=Kji​
则SVM的优化目标可写为：
max ⁡ α i J = ∑ i = 1 N α i − 1 2 ∑ i = 1 N ∑ j = 1 N α i α j y i y j K ( x i , x j ) s . t . { 0 ≤ α i ≤ C ∑ i = 1 N α i y i = 0 y i = 1 或 − 1 \begin{aligned} &\max_{\alpha_i} J = \sum_{i=1}^N\alpha_i-\frac{1}{2}\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_jK(x_i,x_j)\\ &s.t. \quad \begin{cases}0\le\alpha_i\le C\\\sum_{i=1}^N\alpha_iy_i=0\\y_i=1或-1\end{cases} \end{aligned} ​αi​max​J=i=1∑N​αi​−21​i=1∑N​j=1∑N​αi​αj​yi​yj​K(xi​,xj​)s.t.⎩⎪⎨⎪⎧​0≤αi​≤C∑i=1N​αi​yi​=0yi​=1或−1​​
其中， y i y_i yi​和 y j y_j yj​分别是第 i i i个和第 j j j个训练集数据向量的标签，易得
y i 2 = 1 y_i^2=1 yi2​=1
α i \alpha_i αi​和 α j \alpha_j αj​是需要优化的变量。
找到分类超平面以后，数据向量 x i x_i xi​的预测公式可写为
y i = ω x i + b = ∑ j = 1 N y j α j K i j + b y_i=\omega x_i+b=\sum_{j=1}^Ny_j\alpha_jK_{ij}+b yi​=ωxi​+b=j=1∑N​yj​αj​Kij​+b
{ l a b e l i = 1 , y i > 1 l a b e l i = 1 且 x i 是 支 持 向 量 , y i = 1 l a b e l i = 1 且 x i 是 软 间 隔 引 入 的 误 分 类 支 持 向 量 , 0 < y i < 1 l a b e l i 不 存 在 ， x i 在 分 类 超 平 面 上 , y i = 0 l a b e l i = − 1 且 x i 是 软 间 隔 引 入 的 误 分 类 支 持 向 量 , − 1 < y i < 0 l a b e l i = − 1 且 x i 是 支 持 向 量 , y i = − 1 l a b e l i = − 1 , y i < − 1 \begin{cases} label_i=1,\quad y_i>1\\ label_i=1且x_i是支持向量, \quad y_i=1\\ label_i=1且x_i是软间隔引入的误分类支持向量, \quad 0<y_i<1\\ label_i不存在，x_i在分类超平面上,\quad y_i=0\\ label_i=-1且x_i是软间隔引入的误分类支持向量, \quad -1<y_i<0\\ label_i=-1且x_i是支持向量,\quad y_i=-1\\ label_i=-1,\quad y_i<-1 \end{cases} ⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧​labeli​=1,yi​>1labeli​=1且xi​是支持向量,yi​=1labeli​=1且xi​是软间隔引入的误分类支持向量,0<yi​<1labeli​不存在，xi​在分类超平面上,yi​=0labeli​=−1且xi​是软间隔引入的误分类支持向量,−1<yi​<0labeli​=−1且xi​是支持向量,yi​=−1labeli​=−1,yi​<−1​
其中， l a b e l i label_i labeli​是数据向量 x i x_i xi​所属类别。

序列最小优化（SMO）------------------------------------------------------

原始论文：J. C. Platt, Sequential Minimal Optimization：A Fast Algorithm for Training Support Vector Machines (1998) Microsoft Research
传统的SVM凸优化计算效率很低。1998年，来自微软研究院的John C. Platt提出了目前使用最为广泛的快速SVM算法——SMO（Sequential Minimal Optimization，序列最小优化）算法，已用于LibSVM软件包中。该算法每次选择两个 α \alpha α，固定其他 α \alpha α进行优化，直到收敛。
SMO算法实际上与支持向量机本身没有任何关系，它只是一种解决函数凸优化问题的快速方法，所以，该方法的思想一样可以用于解决其他凸函数的凸优化问题。
SMO算法在每一次迭代中，分为内循环和外循环。在外循环中，算法逐一选择每个 α \alpha α。若算法在外循环中的某一步选择了 α i \alpha_i αi​，则此时进入内循环，在所有 α \alpha α中选择一个作为 α j \alpha_j αj​。
根据《机器学习实战》这本书的介绍：
1、如果 α j \alpha_j αj​是随机不重复选择的，则叫做简易SMO算法，此时得到的分类超平面是全局最佳。
2、如果根据原始SMO算法里的启发式方法，若找到一个 α j \alpha_j αj​，使得 f ( x j ) − y j f(x_j)-y_j f(xj​)−yj​与 α i \alpha_i αi​的误差 f ( x i ) − y i f(x_i)-y_i f(xi​)−yi​相差最大，则目标函数就能以最快速度收敛，此时得到的分类超平面是在最佳分类超平面附近，且每次算法得到的分类边界都不一样。
不失一般性，假设在某次迭代中，选择了 α 1 \alpha_1 α1​， α 2 \alpha_2 α2​，在SVM的目标函数J中，将与 α 1 \alpha_1 α1​和 α 2 \alpha_2 α2​有关的项单独写出，可构成SMO的目标函数 W S M O W_{SMO} WSMO​，为

W S M O = α 1 + α 2 + ∑ i = 3 N α i − [ 1 2 α 1 y 1 ( α 1 y 1 K 11 + α 2 y 2 K 12 + ∑ j = 3 N α j y j K 1 j ) + 1 2 α 2 y 2 ( α 1 y 1 K 21 + α 2 y 2 K 22 + ∑ j = 3 N α j y j K 2 j ) + 1 2 ∑ i = 3 N α i y i ( α 1 y 1 K i 1 + α 2 y 2 K i 2 + ∑ j = 3 N α j y j K i j ) ] = α 1 + α 2 − 1 2 y 1 2 α 1 2 K 11 − y 1 y 2 α 1 α 2 K 12 − 1 2 y 2 2 α 2 2 K 22 − y 1 α 1 ∑ i = 3 N y i α i K 1 i − y 2 α 2 ∑ i = 3 N y i α i K 2 i + A {\begin{aligned} W_{SMO}&=\alpha_1+\alpha_2+\sum_{i=3}^N\alpha_i-\begin{aligned} [&\frac{1}{2}\alpha_1y_1(\alpha_1y_1K_{11}+\alpha_2y_2K_{12}+\sum_{j=3}^N\alpha_jy_jK_{1j})+\\&\frac{1}{2}\alpha_2y_2(\alpha_1y_1K_{21}+\alpha_2y_2K_{22}+\sum_{j=3}^N\alpha_jy_jK_{2j})+\\&\frac{1}{2}\sum_{i=3}^N\alpha_iy_i(\alpha_1y_1K_{i1}+\alpha_2y_2K_{i2}+\sum_{j=3}^N\alpha_jy_jK_{ij})]\end{aligned}\\&=\alpha_1+\alpha_2-\frac{1}{2}y_1^2\alpha_1^2K_{11}-y_1y_2\alpha_1\alpha_2K_{12}-\frac{1}{2}y_2^2\alpha_2^2K_{22}-y_1\alpha_1\sum_{i=3}^Ny_i\alpha_iK_{1i}-y_2\alpha_2\sum_{i=3}^Ny_i\alpha_iK_{2i}+A\end{aligned}} WSMO​​=α1​+α2​+i=3∑N​αi​−[​21​α1​y1​(α1​y1​K11​+α2​y2​K12​+j=3∑N​αj​yj​K1j​)+21​α2​y2​(α1​y1​K21​+α2​y2​K22​+j=3∑N​αj​yj​K2j​)+21​i=3∑N​αi​yi​(α1​y1​Ki1​+α2​y2​Ki2​+j=3∑N​αj​yj​Kij​)]​=α1​+α2​−21​y12​α12​K11​−y1​y2​α1​α2​K12​−21​y22​α22​K22​−y1​α1​i=3∑N​yi​αi​K1i​−y2​α2​i=3∑N​yi​αi​K2i​+A​

其中
A = ∑ i = 3 N α i − 1 2 ∑ i = 3 N ∑ j = 3 N y i y j α i α j K i j A=\sum_{i=3}^N\alpha_i-\frac{1}{2}\sum_{i=3}^N\sum_{j=3}^Ny_iy_j\alpha_i\alpha_jK_{ij} A=i=3∑N​αi​−21​i=3∑N​j=3∑N​yi​yj​αi​αj​Kij​
由于 A A A与 α 1 \alpha_1 α1​和 α 2 \alpha_2 α2​无关，所以是一个常数，单独写出来。
因此，SVM的目标变为
max ⁡ α 1 , α 2 W S M O = α 1 + α 2 − 1 2 y 1 2 α 1 2 K 11 − y 1 y 2 α 1 α 2 K 12 − 1 2 y 2 2 α 2 2 K 22 − y 1 α 1 ∑ i = 3 N y i α i K 1 i − y 2 α 2 ∑ i = 3 N y i α i K 2 i + A \begin{aligned} &\max_{\alpha_1,\alpha_2} W_{SMO} = \alpha_1+\alpha_2-\frac{1}{2}y_1^2\alpha_1^2K_{11}-y_1y_2\alpha_1\alpha_2K_{12}-\frac{1}{2}y_2^2\alpha_2^2K_{22}-y_1\alpha_1\sum_{i=3}^Ny_i\alpha_iK_{1i}-y_2\alpha_2\sum_{i=3}^Ny_i\alpha_iK_{2i}+A\end{aligned} ​α1​,α2​max​WSMO​=α1​+α2​−21​y12​α12​K11​−y1​y2​α1​α2​K12​−21​y22​α22​K22​−y1​α1​i=3∑N​yi​αi​K1i​−y2​α2​i=3∑N​yi​αi​K2i​+A​
s . t . { 0 ≤ α i ≤ C ∑ i = 1 N α i y i = 0 y i = 1 或 − 1 s.t. \quad \begin{cases}0\le\alpha_i\le C\\\sum_{i=1}^N\alpha_iy_i=0\\y_i=1或-1\end{cases} s.t.⎩⎪⎨⎪⎧​0≤αi​≤C∑i=1N​αi​yi​=0yi​=1或−1​
现在，可找出 α 1 \alpha_1 α1​和 α 2 \alpha_2 α2​之间的关系表达式。由 ∑ i = 1 N α i y i = 0 \sum_{i=1}^N\alpha_iy_i=0 ∑i=1N​αi​yi​=0，则
y 1 α 1 + y 2 α 2 = − ∑ i = 3 N y i α i = ζ y_1\alpha_1+y_2\alpha_2=-\sum_{i=3}^Ny_i\alpha_i=\zeta y1​α1​+y2​α2​=−i=3∑N​yi​αi​=ζ
注意， ζ \zeta ζ是 A A A中的项，所以是常数。两边同乘 y 1 y_1 y1​，有 α 1 + y 1 y 2 α 2 = y 1 ζ \alpha_1+y_1y_2\alpha_2=y_1\zeta α1​+y1​y2​α2​=y1​ζ
即
α 1 = y 1 ζ − y 1 y 2 α 2 ( 1 ) \alpha_1=y_1\zeta-y_1y_2\alpha_2\quad(1) α1​=y1​ζ−y1​y2​α2​(1)
对于 W S M O W_{SMO} WSMO​，令
v 1 = ∑ i = 3 N y i α i K 1 i v_1=\sum_{i=3}^Ny_i\alpha_iK_{1i} v1​=i=3∑N​yi​αi​K1i​ v 2 = ∑ i = 3 N y i α i K 2 i v_2=\sum_{i=3}^Ny_i\alpha_iK_{2i} v2​=i=3∑N​yi​αi​K2i​
注意， v 1 v_1 v1​和 v 2 v_2 v2​与 α 1 \alpha_1 α1​和 α 2 \alpha_2 α2​无关，所以都是常数。则
W S M O = α 1 + α 2 − 1 2 y 1 2 α 1 2 K 11 − y 1 y 2 α 1 α 2 K 12 − 1 2 y 2 2 α 2 2 K 22 − y 1 α 1 v 1 − y 2 α 2 v 2 + A W_{SMO} = \alpha_1+\alpha_2-\frac{1}{2}y_1^2\alpha_1^2K_{11}-y_1y_2\alpha_1\alpha_2K_{12}-\frac{1}{2}y_2^2\alpha_2^2K_{22}-y_1\alpha_1v_1-y_2\alpha_2v_2+A WSMO​=α1​+α2​−21​y12​α12​K11​−y1​y2​α1​α2​K12​−21​y22​α22​K22​−y1​α1​v1​−y2​α2​v2​+A
将(1)式代入 W S M O W_{SMO} WSMO​，经化简，有
W S M O = y 1 ζ − y 1 y 2 α 2 + α 2 − 1 2 ( ζ − y 2 α 2 ) 2 K 11 − 1 2 α 2 2 K 22 − y 2 α 2 ( ζ − y 2 α 2 ) K 12 − ( ζ − y 2 α 2 ) v 1 − y 2 α 2 v 2 + A W_{SMO}=y_1\zeta -y_1y_2\alpha_2+\alpha_2-\frac{1}{2}(\zeta -y_2\alpha_2)^2K_{11}-\frac{1}{2}\alpha_2^2K_{22}-y_2\alpha_2(\zeta-y_2\alpha_2)K_{12}-(\zeta-y_2\alpha_2)v_1-y_2\alpha_2v_2+A WSMO​=y1​ζ−y1​y2​α2​+α2​−21​(ζ−y2​α2​)2K11​−21​α22​K22​−y2​α2​(ζ−y2​α2​)K12​−(ζ−y2​α2​)v1​−y2​α2​v2​+A
由于 W S M O W_{SMO} WSMO​中的量 y 1 ， y 2 ， ζ ， K 11 ， K 12 ， K 22 ， v 1 ， v 2 ， A y_1，y_2，\zeta，K_{11}，K_{12}，K_{22}，v_1，v_2，A y1​，y2​，ζ，K11​，K12​，K22​，v1​，v2​，A都是常量，所以到此，SVM的多元函数优化问题，转化为了一元函数优化问题，即函数 W S M O W_{SMO} WSMO​只与 α 2 \alpha_2 α2​有关，即
max ⁡ α 1 , α 2 W S M O = y 1 ζ − y 1 y 2 α 2 + α 2 − 1 2 ( ζ − y 2 α 2 ) 2 K 11 − 1 2 α 2 2 K 22 − y 2 α 2 ( ζ − y 2 α 2 ) K 12 − ( ζ − y 2 α 2 ) v 1 − y 2 α 2 v 2 + A \begin{aligned} &\max_{\alpha_1,\alpha_2} W_{SMO} =y_1\zeta -y_1y_2\alpha_2+\alpha_2-\frac{1}{2}(\zeta -y_2\alpha_2)^2K_{11}-\frac{1}{2}\alpha_2^2K_{22}-y_2\alpha_2(\zeta-y_2\alpha_2)K_{12}-(\zeta-y_2\alpha_2)v_1-y_2\alpha_2v_2+A \end{aligned} ​α1​,α2​max​WSMO​=y1​ζ−y1​y2​α2​+α2​−21​(ζ−y2​α2​)2K11​−21​α22​K22​−y2​α2​(ζ−y2​α2​)K12​−(ζ−y2​α2​)v1​−y2​α2​v2​+A​ s . t . 0 ≤ α 2 ≤ C s.t. \quad 0\le\alpha_2\le C s.t.0≤α2​≤C
显然，对于一元函数优化问题，首先需要求函数的一阶导函数，即
d W S M O d α 2 = − y 1 y 2 + 1 + y 2 ( ζ − α 2 y 2 ) K 11 − α 2 K 22 − y 2 ( ζ − 2 α 2 y 2 ) K 12 + y 2 v 1 − y 2 v 2 = 0 \frac{dW_{SMO}}{d\alpha_2}=-y_1y_2+1+y_2(\zeta-\alpha_2y_2)K_{11}-\alpha_2K_{22}-y_2(\zeta-2\alpha_2y_2)K_{12}+y_2v_1-y_2v_2=0 dα2​dWSMO​​=−y1​y2​+1+y2​(ζ−α2​y2​)K11​−α2​K22​−y2​(ζ−2α2​y2​)K12​+y2​v1​−y2​v2​=0
经化简，有
d W S M O d α 2 = − y 1 y 2 + 1 − ( K 11 + K 22 − 2 K 12 ) α 2 + y 2 ζ ( K 11 − K 12 ) + y 2 ( v 1 − v 2 ) = 0 \frac{dW_{SMO}}{d\alpha_2}=-y_1y_2+1-(K_{11}+K_{22}-2K_{12})\alpha_2+y_2\zeta(K_{11}-K_{12})+y_2(v_1-v_2)=0 dα2​dWSMO​​=−y1​y2​+1−(K11​+K22​−2K12​)α2​+y2​ζ(K11​−K12​)+y2​(v1​−v2​)=0
注意到， d W S M O d α 2 \frac{dW_{SMO}}{d\alpha_2} dα2​dWSMO​​中的 v 1 v_1 v1​和 v 2 v_2 v2​形式不够简洁，考察其是否可与前次迭代的结果联系起来，从而减少运算量。
首先，给出SVM对数据向量 x i x_i xi​的预测结果 f ( x i ) f(x_i) f(xi​)表达式
f ( x i ) = b + ∑ j = 1 N y j α j K i j f(x_i)=b+\sum_{j=1}^Ny_j\alpha_jK_{ij} f(xi​)=b+j=1∑N​yj​αj​Kij​
观察 v 1 v_1 v1​和 v 2 v_2 v2​的形式，发现其与 f ( x i ) f(x_i) f(xi​)较为相似，可对其进行改写，有
v 1 = ∑ i = 3 N y i α i K 1 i = f ( x 1 ) − b − y 1 α 1 K 11 − y 2 α 2 K 12 v_1=\sum_{i=3}^Ny_i\alpha_iK_{1i}=f(x_1)-b-y_1\alpha_1K_{11}-y_2\alpha_2K_{12} v1​=i=3∑N​yi​αi​K1i​=f(x1​)−b−y1​α1​K11​−y2​α2​K12​ v 2 = ∑ i = 3 N y i α i K 2 i = f ( x 2 ) − b − y 1 α 1 K 21 − y 2 α 2 K 22 v_2=\sum_{i=3}^Ny_i\alpha_iK_{2i}=f(x_2)-b-y_1\alpha_1K_{21}-y_2\alpha_2K_{22} v2​=i=3∑N​yi​αi​K2i​=f(x2​)−b−y1​α1​K21​−y2​α2​K22​
必须注意，上述两个式子中的 f ( x 1 ) ， f ( x 2 ) ， b ， α 1 ， α 2 f(x_1)，f(x_2)，b，\alpha_1，\alpha_2 f(x1​)，f(x2​)，b，α1​，α2​都是上一次迭代计算出的结果，为了与本次迭代计算出的所有新变量进行区分，令上一次迭代的 f ( x 1 ) ， f ( x 2 ) ， b ， α 1 ， α 2 f(x_1)，f(x_2)，b，\alpha_1，\alpha_2 f(x1​)，f(x2​)，b，α1​，α2​分别为 f ( x 1 ) o l d ， f ( x 2 ) o l d ， b o l d ， α 1 o l d ， α 2 o l d f(x_1)^{old}，f(x_2)^{old}，b^{old}，\alpha_1^{old}，\alpha_2^{old} f(x1​)old，f(x2​)old，bold，α1old​，α2old​，则
v 1 − v 2 = f ( x 1 ) o l d − f ( x 2 ) o l d − y 1 α 1 o l d ( K 11 − K 21 ) − y 2 α 2 o l d ( K 12 − K 22 ) v_1-v_2=f(x_1)^{old}-f(x_2)^{old}-y_1\alpha_1^{old}(K_{11}-K_{21})-y_2\alpha_2^{old}(K_{12}-K_{22}) v1​−v2​=f(x1​)old−f(x2​)old−y1​α1old​(K11​−K21​)−y2​α2old​(K12​−K22​)
将(1)式代入，消去 α 1 o l d \alpha_1^{old} α1old​，同时为统一形式，令 K 12 K_{12} K12​表示 K 21 K_{21} K21​，化简，有
v 1 − v 2 = f ( x 1 ) o l d − f ( x 2 ) o l d − ζ ( K 11 − K 12 ) + y 2 α 2 o l d ( K 11 + K 22 − 2 K 12 ) v_1-v_2=f(x_1)^{old}-f(x_2)^{old}-\zeta(K_{11}-K_{12})+y_2\alpha_2^{old}(K_{11}+K_{22}-2K_{12}) v1​−v2​=f(x1​)old−f(x2​)old−ζ(K11​−K12​)+y2​α2old​(K11​+K22​−2K12​)
代入 d W S M O d α 2 \frac{dW_{SMO}}{d\alpha_2} dα2​dWSMO​​，有

d W S M O d α 2 = \begin{aligned}\frac{dW_{SMO}}{d\alpha_2}=\end{aligned} dα2​dWSMO​​=​
− y 1 y 2 + 1 − ( K 11 + K 22 − 2 K 12 ) α 2 + y 2 ζ ( K 11 − K 12 ) + y 2 [ f ( x 1 ) o l d − f ( x 2 ) o l d − ζ ( K 11 − K 12 ) + y 2 α 2 o l d ( K 11 + K 22 − 2 K 12 ) ] = 0 \begin{aligned}-y_1y_2+1-(K_{11}+K_{22}-2K_{12})\alpha_2+y_2\zeta(K_{11}-K_{12})+y_2[f(x_1)^{old}-f(x_2)^{old}-\zeta(K_{11}-K_{12})+y_2\alpha_2^{old}(K_{11}+K_{22}-2K_{12})]=0\end{aligned} −y1​y2​+1−(K11​+K22​−2K12​)α2​+y2​ζ(K11​−K12​)+y2​[f(x1​)old−f(x2​)old−ζ(K11​−K12​)+y2​α2old​(K11​+K22​−2K12​)]=0​

化简，有
d W S M O d α 2 = − y 1 y 2 + 1 − ( K 11 + K 22 − 2 K 12 ) α 2 + y 2 ( f ( x 1 ) o l d − f ( x 2 ) o l d ) + α 2 o l d ( K 11 + K 22 − 2 K 12 ) = 0 \frac{dW_{SMO}}{d\alpha_2}=-y_1y_2+1-(K_{11}+K_{22}-2K_{12})\alpha_2+y_2(f(x_1)^{old}-f(x_2)^{old})+\alpha_2^{old}(K_{11}+K_{22}-2K_{12})=0 dα2​dWSMO​​=−y1​y2​+1−(K11​+K22​−2K12​)α2​+y2​(f(x1​)old−f(x2​)old)+α2old​(K11​+K22​−2K12​)=0
令 η = K 11 + K 22 − 2 K 12 \eta=K_{11}+K_{22}-2K_{12} η=K11​+K22​−2K12​，有
d W S M O d α 2 = − y 1 y 2 + 1 − η α 2 + y 2 ( f ( x 1 ) o l d − f ( x 2 ) o l d ) + α 2 o l d η = 0 \frac{dW_{SMO}}{d\alpha_2}=-y_1y_2+1-\eta\alpha_2+y_2(f(x_1)^{old}-f(x_2)^{old})+\alpha_2^{old}\eta=0 dα2​dWSMO​​=−y1​y2​+1−ηα2​+y2​(f(x1​)old−f(x2​)old)+α2old​η=0因 y 2 2 = 1 y_2^2=1 y22​=1，则有
d W S M O d α 2 = − y 1 y 2 + y 2 2 + α 2 o l d η − α 2 η + y 2 ( f ( x 1 ) o l d − f ( x 2 ) o l d ) = 0 \frac{dW_{SMO}}{d\alpha_2}=-y_1y_2+y_2^2+\alpha_2^{old}\eta-\alpha_2\eta+y_2(f(x_1)^{old}-f(x_2)^{old})=0 dα2​dWSMO​​=−y1​y2​+y22​+α2old​η−α2​η+y2​(f(x1​)old−f(x2​)old)=0
即
d W S M O d α 2 = α 2 o l d η − α 2 η + y 2 ( f ( x 1 ) o l d − f ( x 2 ) o l d − y 1 + y 2 ) = 0 \frac{dW_{SMO}}{d\alpha_2}=\alpha_2^{old}\eta-\alpha_2\eta+y_2(f(x_1)^{old}-f(x_2)^{old}-y_1+y_2)=0 dα2​dWSMO​​=α2old​η−α2​η+y2​(f(x1​)old−f(x2​)old−y1​+y2​)=0
令
E 1 o l d = f ( x 1 ) o l d − y 1 E_1^{old}=f(x_1)^{old}-y_1 E1old​=f(x1​)old−y1​ E 2 o l d = f ( x 2 ) o l d − y 2 E_2^{old}=f(x_2)^{old}-y_2 E2old​=f(x2​)old−y2​
则
d W S M O d α 2 = α 2 o l d η − α 2 η + y 2 ( E 1 o l d − E 2 o l d ) = 0 \frac{dW_{SMO}}{d\alpha_2}=\alpha_2^{old}\eta-\alpha_2\eta+y_2(E_1^{old}-E_2^{old})=0 dα2​dWSMO​​=α2old​η−α2​η+y2​(E1old​−E2old​)=0
此时 α 2 \alpha_2 α2​的表达式可由上一次迭代计算好的 α 2 o l d \alpha_2^{old} α2old​表示，即
α 2 = α 2 o l d + y 2 ( E 1 o l d − E 2 o l d ) η \alpha_2=\alpha_2^{old}+\frac{y_2(E_1^{old}-E_2^{old})}{\eta} α2​=α2old​+ηy2​(E1old​−E2old​)​
到此为止， α 2 \alpha_2 α2​计算出来了，但是还从没有考虑过 α 2 \alpha_2 α2​的取值范围问题。然而在SVM优化问题中， α i \alpha_i αi​的取值范围规定为 0 ≤ α i ≤ C 0\le\alpha_i\le C 0≤αi​≤C，且满足 y 1 α 1 + y 2 α 2 = − ∑ i = 3 N y i α i = ζ y_1\alpha_1+y_2\alpha_2=-\sum_{i=3}^Ny_i\alpha_i=\zeta y1​α1​+y2​α2​=−∑i=3N​yi​αi​=ζ。

接下来对 α 2 \alpha_2 α2​进行范围限制

接下来，必须对 α 2 \alpha_2 α2​的取值范围加以限制，以满足SVM优化问题的约束条件。
已知， y i = 1 或 − 1 y_i=1或-1 yi​=1或−1，则 y 1 α 1 + y 2 α 2 = ζ y_1\alpha_1+y_2\alpha_2=\zeta y1​α1​+y2​α2​=ζ会出现4种情况，即
{ α 1 + α 2 = ζ α 1 − α 2 = ζ − α 1 + α 2 = ζ − α 1 − α 2 = ζ ⇒ { α 1 = − α 2 + ζ α 1 = α 2 + ζ α 1 = α 2 − ζ α 1 = − α 2 − ζ ⇒ { 0 ≤ − α 2 + ζ ≤ C 0 ≤ α 2 + ζ ≤ C 0 ≤ α 2 − ζ ≤ C 0 ≤ − α 2 − ζ ≤ C ⇒ { ζ − C ≤ α 2 ≤ ζ ① − ζ ≤ α 2 ≤ C − ζ ② ζ ≤ α 2 ≤ C + ζ ③ − ( C + ζ ) ≤ α 2 ≤ − ζ ④ \begin{cases} \alpha_1+\alpha_2=\zeta\\ \alpha_1-\alpha_2=\zeta\\ -\alpha_1+\alpha_2=\zeta\\ -\alpha_1-\alpha_2=\zeta \end{cases} \Rightarrow \begin{cases} \alpha_1=-\alpha_2+\zeta\\ \alpha_1=\alpha_2+\zeta\\ \alpha_1=\alpha_2-\zeta\\ \alpha_1=-\alpha_2-\zeta \end{cases} \Rightarrow \begin{cases} 0\le-\alpha_2+\zeta\le C\\ 0\le\alpha_2+\zeta\le C\\ 0\le\alpha_2-\zeta\le C\\ 0\le-\alpha_2-\zeta\le C \end{cases} \Rightarrow \begin{cases} \zeta-C\le\alpha_2\le\zeta \quad ①\\ -\zeta\le\alpha_2\le C-\zeta \quad ②\\ \zeta\le\alpha_2\le C+\zeta \quad ③\\ -(C+\zeta)\le\alpha_2\le -\zeta \quad ④\\ \end{cases} ⎩⎪⎪⎪⎨⎪⎪⎪⎧​α1​+α2​=ζα1​−α2​=ζ−α1​+α2​=ζ−α1​−α2​=ζ​⇒⎩⎪⎪⎪⎨⎪⎪⎪⎧​α1​=−α2​+ζα1​=α2​+ζα1​=α2​−ζα1​=−α2​−ζ​⇒⎩⎪⎪⎪⎨⎪⎪⎪⎧​0≤−α2​+ζ≤C0≤α2​+ζ≤C0≤α2​−ζ≤C0≤−α2​−ζ≤C​⇒⎩⎪⎪⎪⎨⎪⎪⎪⎧​ζ−C≤α2​≤ζ①−ζ≤α2​≤C−ζ②ζ≤α2​≤C+ζ③−(C+ζ)≤α2​≤−ζ④​
在四种情况中，只有 ζ \zeta ζ是变化的，现在需要讨论在不同 ζ \zeta ζ下的情况。

A. 对于情况①， y 1 = y 2 = 1 y_1=y_2=1 y1​=y2​=1，方程为 α 1 = − α 2 + ζ \alpha_1=-\alpha_2+\zeta α1​=−α2​+ζ，绘制出其图像
在这里插入图片描述

图中，直线 α 1 = − α 2 + ζ \alpha_1=-\alpha_2+\zeta α1​=−α2​+ζ从下到上扫过方形区域， ζ \zeta ζ是直线与 α 1 \alpha_1 α1​轴的交点，即直线的截距。由图知，可以将 ζ \zeta ζ的取值范围分为四个部分看待：
ζ < 0 , 0 ≤ ζ < C , C ≤ ζ < 2 C , 2 C ≤ ζ \zeta<0,\quad 0\le\zeta<C,\quad C\le\zeta<2C,\quad2C\le\zeta ζ<0,0≤ζ<C,C≤ζ<2C,2C≤ζ
1、当 ζ < 0 \zeta<0 ζ<0时，为图中最下面的那条直线的情况，直线与方形区域没有交点。将 ζ < 0 \zeta<0 ζ<0代入①式，有 ζ − C < 0 \zeta-C<0 ζ−C<0，则
( ζ − C ≤ α 2 ≤ ζ ) ∩ ( 0 ≤ α 2 ≤ C ) = ∅ (\zeta-C\le\alpha_2\le\zeta)\cap(0\le\alpha_2\le C)=\varnothing (ζ−C≤α2​≤ζ)∩(0≤α2​≤C)=∅
2、当 0 ≤ ζ < C 0\le\zeta<C 0≤ζ<C时，直线扫过方形区域下半部分。将 0 ≤ ζ < C 0\le\zeta<C 0≤ζ<C代入①式，有 − C ≤ ζ − C < 0 -C\le\zeta-C<0 −C≤ζ−C<0则
( ζ − C ≤ α 2 ≤ ζ ) ∩ ( 0 ≤ α 2 ≤ C ) = 0 ≤ α 2 ≤ ζ (\zeta-C\le\alpha_2\le\zeta)\cap(0\le\alpha_2\le C)=0\le\alpha_2\le\zeta (ζ−C≤α2​≤ζ)∩(0≤α2​≤C)=0≤α2​≤ζ
3、当 C ≤ ζ < 2 C C\le\zeta<2C C≤ζ<2C时，直线扫过方形区域上半部分。将 C ≤ ζ < 2 C C\le\zeta<2C C≤ζ<2C代入①式，有 0 ≤ ζ − C < C 0\le\zeta-C<C 0≤ζ−C<C,则
( ζ − C ≤ α 2 ≤ ζ ) ∩ ( 0 ≤ α 2 ≤ C ) = ζ − C ≤ α 2 ≤ C (\zeta-C\le\alpha_2\le\zeta)\cap(0\le\alpha_2\le C)=\zeta-C\le\alpha_2\le C (ζ−C≤α2​≤ζ)∩(0≤α2​≤C)=ζ−C≤α2​≤C
4、当 2 C ≤ ζ 2C\le\zeta 2C≤ζ时，为图中最上方的直线的情况，直线与方形区域没有交点。将 2 C ≤ ζ 2C\le\zeta 2C≤ζ代入①式，有 C ≤ ζ − C C\le\zeta-C C≤ζ−C，则
( ζ − C ≤ α 2 ≤ ζ ) ∩ ( 0 ≤ α 2 ≤ C ) = ∅ (\zeta-C\le\alpha_2\le\zeta)\cap(0\le\alpha_2\le C)=\varnothing (ζ−C≤α2​≤ζ)∩(0≤α2​≤C)=∅
综上，有
{ ∅ , ζ < 0 0 ≤ α 2 ≤ ζ , 0 ≤ ζ < C ζ − C ≤ α 2 ≤ C , C ≤ ζ < 2 C ∅ , 2 C ≤ ζ \begin{cases} \varnothing,\quad\zeta<0\\ 0\le\alpha_2\le\zeta,\quad0\le\zeta<C\\ \zeta-C\le\alpha_2\le C,\quad C\le\zeta<2C\\ \varnothing,\quad 2C\le\zeta \end{cases} ⎩⎪⎪⎪⎨⎪⎪⎪⎧​∅,ζ<00≤α2​≤ζ,0≤ζ<Cζ−C≤α2​≤C,C≤ζ<2C∅,2C≤ζ​
将该不等式组写成一个不等式，有
m a x ( 0 , ζ − C ) ≤ α 2 ≤ m i n ( ζ , C ) max(0,\zeta-C)\le\alpha_2\le min(\zeta,C) max(0,ζ−C)≤α2​≤min(ζ,C)
注意到，对于情况①，虽然 α 1 + α 2 = ζ \alpha_1+\alpha_2=\zeta α1​+α2​=ζ，但是此时的 α 2 \alpha_2 α2​没有完全计算完，而对 α 2 \alpha_2 α2​的范围规定又需要 ζ \zeta ζ，这就造成了矛盾。为了避免这种情况，令 α 1 o l d + α 2 o l d = ζ \alpha_1^{old}+\alpha_2^{old}=\zeta α1old​+α2old​=ζ，则
m a x ( 0 , α 1 o l d + α 2 o l d − C ) ≤ α 2 ≤ m i n ( α 1 o l d + α 2 o l d , C ) max(0,\alpha_1^{old}+\alpha_2^{old}-C)\le\alpha_2\le min(\alpha_1^{old}+\alpha_2^{old},C) max(0,α1old​+α2old​−C)≤α2​≤min(α1old​+α2old​,C)
B. 对于情况②， y 1 = 1 ， y 2 = − 1 y_1=1，y_2=-1 y1​=1，y2​=−1，方程为 α 1 = α 2 + ζ \alpha_1=\alpha_2+\zeta α1​=α2​+ζ，绘制出其图像
在这里插入图片描述

图中，直线 α 1 = α 2 + ζ \alpha_1=\alpha_2+\zeta α1​=α2​+ζ从下到上扫过方形区域， ζ \zeta ζ是直线与 α 1 \alpha_1 α1​轴的交点，即直线的截距。由图知，可以将 ζ \zeta ζ的取值范围分为四个部分看待：
ζ < − C , − C ≤ ζ < 0 , 0 ≤ ζ < C , C ≤ ζ \zeta<-C,\quad -C\le\zeta<0,\quad 0\le\zeta<C,\quad C\le\zeta ζ<−C,−C≤ζ<0,0≤ζ<C,C≤ζ
1、当 ζ < − C \zeta<-C ζ<−C时，为图中最下面的那条直线的情况，直线与方形区域没有交点。将 ζ < − C \zeta<-C ζ<−C代入②式，有 − ζ > C -\zeta>C −ζ>C， C − ζ > 2 C C-\zeta>2C C−ζ>2C，则
( − ζ ≤ α 2 ≤ C − ζ ) ∩ ( 0 ≤ α 2 ≤ C ) = ∅ (-\zeta\le\alpha_2\le C-\zeta)\cap(0\le\alpha_2\le C)=\varnothing (−ζ≤α2​≤C−ζ)∩(0≤α2​≤C)=∅
2、当 − C ≤ ζ < 0 -C\le\zeta<0 −C≤ζ<0时，直线扫过方形区域下半部分。将 − C ≤ ζ < 0 -C\le\zeta<0 −C≤ζ<0代入②式，有 0 < − ζ ≤ C 0<-\zeta\le C 0<−ζ≤C， C < C − ζ ≤ 2 C C<C-\zeta\le 2C C<C−ζ≤2C则
( − ζ ≤ α 2 ≤ C − ζ ) ∩ ( 0 ≤ α 2 ≤ C ) = − ζ ≤ α 2 ≤ C (-\zeta\le\alpha_2\le C-\zeta)\cap(0\le\alpha_2\le C)=-\zeta\le\alpha_2\le C (−ζ≤α2​≤C−ζ)∩(0≤α2​≤C)=−ζ≤α2​≤C
3、当 0 ≤ ζ < C 0\le\zeta<C 0≤ζ<C时，直线扫过方形区域上半部分。将 0 ≤ ζ < C 0\le\zeta<C 0≤ζ<C代入②式，有 − C < − ζ ≤ 0 -C<-\zeta\le0 −C<−ζ≤0, 0 < C − ζ ≤ C 0< C-\zeta\le C 0<C−ζ≤C，则
( − ζ ≤ α 2 ≤ C − ζ ) ∩ ( 0 ≤ α 2 ≤ C ) = 0 ≤ α 2 ≤ C − ζ (-\zeta\le\alpha_2\le C-\zeta)\cap(0\le\alpha_2\le C)=0\le\alpha_2\le C-\zeta (−ζ≤α2​≤C−ζ)∩(0≤α2​≤C)=0≤α2​≤C−ζ
4、当 C ≤ ζ C\le\zeta C≤ζ时，为图中最上方的直线的情况，直线与方形区域没有交点。将 2 C ≤ ζ 2C\le\zeta 2C≤ζ代入②式，有 − ζ ≤ − 2 C -\zeta\le -2C −ζ≤−2C， C − ζ ≤ − C C-\zeta\le-C C−ζ≤−C则
( − ζ ≤ α 2 ≤ C − ζ ) ∩ ( 0 ≤ α 2 ≤ C ) = ∅ (-\zeta\le\alpha_2\le C-\zeta)\cap(0\le\alpha_2\le C)=\varnothing (−ζ≤α2​≤C−ζ)∩(0≤α2​≤C)=∅
综上，有
{ ∅ , ζ < − C − ζ ≤ α 2 ≤ C , − C ≤ ζ < 0 0 ≤ α 2 ≤ C − ζ , 0 ≤ ζ < C ∅ , C ≤ ζ \begin{cases} \varnothing,\quad\zeta<-C\\ -\zeta\le\alpha_2\le C,\quad-C\le\zeta<0\\ 0\le\alpha_2\le C-\zeta,\quad 0\le\zeta<C\\ \varnothing,\quad C\le\zeta \end{cases} ⎩⎪⎪⎪⎨⎪⎪⎪⎧​∅,ζ<−C−ζ≤α2​≤C,−C≤ζ<00≤α2​≤C−ζ,0≤ζ<C∅,C≤ζ​
将该不等式组写成一个不等式，有
m a x ( 0 , − ζ ) ≤ α 2 ≤ m i n ( C , C − ζ ) max(0,-\zeta)\le\alpha_2\le min(C,C-\zeta) max(0,−ζ)≤α2​≤min(C,C−ζ)
将②式中的 α 1 o l d − α 2 o l d = ζ \alpha_1^{old}-\alpha_2^{old}=\zeta α1old​−α2old​=ζ代入，有
m a x ( 0 , α 2 o l d − α 1 o l d ) ≤ α 2 ≤ m i n ( C , C + α 2 o l d − α 1 o l d ) max(0,\alpha_2^{old}-\alpha_1^{old})\le\alpha_2\le min(C,C+\alpha_2^{old}-\alpha_1^{old}) max(0,α2old​−α1old​)≤α2​≤min(C,C+α2old​−α1old​)
C. 对于情况③， y 1 = − 1 ， y 2 = 1 y_1=-1，y_2=1 y1​=−1，y2​=1，方程为 α 1 = α 2 − ζ \alpha_1=\alpha_2-\zeta α1​=α2​−ζ，可以发现方程中的 − ζ -\zeta −ζ与情况②的 ζ \zeta ζ差一个负号，所以只需将 − ζ -\zeta −ζ代替情况②中的所有 ζ \zeta ζ，即可得到
m a x ( 0 , ζ ) ≤ α 2 ≤ m i n ( C , C + ζ ) max(0,\zeta)\le\alpha_2\le min(C,C+\zeta) max(0,ζ)≤α2​≤min(C,C+ζ)
将③式中的 − α 1 o l d + α 2 o l d = ζ -\alpha_1^{old}+\alpha_2^{old}=\zeta −α1old​+α2old​=ζ代入，有
m a x ( 0 , α 2 o l d − α 1 o l d ) ≤ α 2 ≤ m i n ( C , C + α 2 o l d − α 1 o l d ) max(0,\alpha_2^{old}-\alpha_1^{old})\le\alpha_2\le min(C,C+\alpha_2^{old}-\alpha_1^{old}) max(0,α2old​−α1old​)≤α2​≤min(C,C+α2old​−α1old​)
D. 对于情况④， y 1 = y 2 = − 1 y_1=y_2=-1 y1​=y2​=−1，方程为 α 1 = − α 2 − ζ \alpha_1=-\alpha_2-\zeta α1​=−α2​−ζ，可以发现方程中的 − ζ -\zeta −ζ与情况①的 ζ \zeta ζ差一个负号，所以只需将 − ζ -\zeta −ζ代替情况①中的所有 ζ \zeta ζ，即可得到
m a x ( 0 , − ζ − C ) ≤ α 2 ≤ m i n ( − ζ , C ) max(0,-\zeta-C)\le\alpha_2\le min(-\zeta,C) max(0,−ζ−C)≤α2​≤min(−ζ,C)
将④式中的 − α 1 o l d − α 2 o l d = ζ -\alpha_1^{old}-\alpha_2^{old}=\zeta −α1old​−α2old​=ζ代入，有
m a x ( 0 , α 1 o l d + α 2 o l d − C ) ≤ α 2 ≤ m i n ( α 1 o l d + α 2 o l d , C ) max(0,\alpha_1^{old}+\alpha_2^{old}-C)\le\alpha_2\le min(\alpha_1^{old}+\alpha_2^{old},C) max(0,α1old​+α2old​−C)≤α2​≤min(α1old​+α2old​,C)
综上讨论，可以得到 α 2 \alpha_2 α2​的取值范围，即
{ m a x ( 0 , α 1 o l d + α 2 o l d − C ) ≤ α 2 ≤ m i n ( α 1 o l d + α 2 o l d , C ) , y 1 = y 2 m a x ( 0 , α 2 o l d − α 1 o l d ) ≤ α 2 ≤ m i n ( C , C + α 2 o l d − α 1 o l d ) , y 1 ≠ y 2 \begin{cases} max(0,\alpha_1^{old}+\alpha_2^{old}-C)\le\alpha_2\le min(\alpha_1^{old}+\alpha_2^{old},C),\quad y_1=y_2\\ max(0,\alpha_2^{old}-\alpha_1^{old})\le\alpha_2\le min(C,C+\alpha_2^{old}-\alpha_1^{old}),\quad y_1\neq y_2\\ \end{cases} {max(0,α1old​+α2old​−C)≤α2​≤min(α1old​+α2old​,C),y1​=y2​max(0,α2old​−α1old​)≤α2​≤min(C,C+α2old​−α1old​),y1​​=y2​​
将 α 2 \alpha_2 α2​按照上述范围进行裁剪，任何大于或小于上下界的 α 2 \alpha_2 α2​都强制赋值为上界的值或下界的值。

现在完成了对 α 2 \alpha_2 α2​的完整计算。

由 α 1 \alpha_1 α1​和 α 2 \alpha_2 α2​之间的关系表达式 y 1 α 1 + y 2 α 2 = ζ = − ∑ i = 3 N y i α i y_1\alpha_1+y_2\alpha_2=\zeta=-\sum_{i=3}^Ny_i\alpha_i y1​α1​+y2​α2​=ζ=−∑i=3N​yi​αi​，有
α 1 = y 1 ζ − y 1 y 2 α 2 \alpha_1=y_1\zeta-y_1y_2\alpha_2 α1​=y1​ζ−y1​y2​α2​
现在，需要对 ζ \zeta ζ进行表达。
在本次迭代中， ζ = − ∑ i = 3 N y i α i \zeta=-\sum_{i=3}^Ny_i\alpha_i ζ=−∑i=3N​yi​αi​始终与 α 1 和 α 2 \alpha_1和\alpha_2 α1​和α2​无关，所以 ζ \zeta ζ是常数，没有发生变化，所以 y 1 α 1 + y 2 α 2 = y 1 α 1 o l d + y 2 α 2 o l d y_1\alpha_1+y_2\alpha_2=y_1\alpha_1^{old}+y_2\alpha_2^{old} y1​α1​+y2​α2​=y1​α1old​+y2​α2old​，所以有
α 1 = α 1 o l d + y 1 y 2 ( α 2 o l d − α 1 o l d ) \alpha_1=\alpha_1^{old}+y_1y_2(\alpha_2^{old}-\alpha_1^{old}) α1​=α1old​+y1​y2​(α2old​−α1old​)
计算出了 α 1 \alpha_1 α1​和 α 2 \alpha_2 α2​后，就可以计算偏置 b b b了。

现在开始计算偏置 b b b

若 0 < α 1 < C 0<\alpha_1<C 0<α1​<C，可知 x 1 x_1 x1​是支持向量，有
y 1 ( ω x 1 + b 1 ) = 1 y_1(\omega x_1+b_1)=1 y1​(ωx1​+b1​)=1
即
y 1 y 1 ( ω x 1 + b 1 ) = y 1 y_1y_1(\omega x_1+b_1)=y_1 y1​y1​(ωx1​+b1​)=y1​
即
ω x 1 + b 1 = y 1 \omega x_1+b_1=y_1 ωx1​+b1​=y1​
即
f ( x 1 ) = ∑ i = 1 N y i α i K 1 i + b 1 = y 1 α 1 K 11 + y 2 α 2 K 12 + ∑ i = 3 N y i α i K 1 i + b 1 = y 1 f(x_1)=\sum_{i=1}^Ny_i\alpha_iK_{1i}+b_1=y_1\alpha_1K_{11}+y_2\alpha_2K_{12}+\sum_{i=3}^Ny_i\alpha_iK_{1i}+b_1=y_1 f(x1​)=i=1∑N​yi​αi​K1i​+b1​=y1​α1​K11​+y2​α2​K12​+i=3∑N​yi​αi​K1i​+b1​=y1​
则
b 1 = y 1 − y 1 α 1 K 11 − y 2 α 2 K 12 − ∑ i = 3 N y i α i K 1 i b_1=y_1-y_1\alpha_1K_{11}-y_2\alpha_2K_{12}-\sum_{i=3}^Ny_i\alpha_iK_{1i} b1​=y1​−y1​α1​K11​−y2​α2​K12​−i=3∑N​yi​αi​K1i​
又
y 1 − ∑ i = 3 N y i α i K 1 i = y 1 + f ( x 1 ) o l d − f ( x 1 ) o l d − ∑ i = 3 N y i α i K 1 i y_1-\sum_{i=3}^Ny_i\alpha_iK_{1i}=y_1+f(x_1)^{old}-f(x_1)^{old}-\sum_{i=3}^Ny_i\alpha_iK_{1i} y1​−i=3∑N​yi​αi​K1i​=y1​+f(x1​)old−f(x1​)old−i=3∑N​yi​αi​K1i​
即
y 1 − ∑ i = 3 N y i α i K 1 i = y 1 − f ( x 1 ) o l d + y 1 α 1 o l d K 11 + y 2 α 2 o l d K 12 + ∑ i = 3 N y i α i K 1 i + b 1 o l d − ∑ i = 3 N y i α i K 1 i y_1-\sum_{i=3}^Ny_i\alpha_iK_{1i}=y_1-f(x_1)^{old}+y_1\alpha_1^{old}K_{11}+y_2\alpha_2^{old}K_{12}+\sum_{i=3}^Ny_i\alpha_iK_{1i}+b_1^{old}-\sum_{i=3}^Ny_i\alpha_iK_{1i} y1​−i=3∑N​yi​αi​K1i​=y1​−f(x1​)old+y1​α1old​K11​+y2​α2old​K12​+i=3∑N​yi​αi​K1i​+b1old​−i=3∑N​yi​αi​K1i​
令 E 1 o l d = f ( x 1 ) o l d − y 1 E_1^{old}=f(x_1)^{old}-y_1 E1old​=f(x1​)old−y1​，则
y 1 − ∑ i = 3 N y i α i K 1 i = b 1 o l d − E 1 o l d + y 1 α 1 o l d K 11 + y 2 α 2 o l d K 12 y_1-\sum_{i=3}^Ny_i\alpha_iK_{1i}=b_1^{old}-E_1^{old}+y_1\alpha_1^{old}K_{11}+y_2\alpha_2^{old}K_{12} y1​−i=3∑N​yi​αi​K1i​=b1old​−E1old​+y1​α1old​K11​+y2​α2old​K12​
代回 b 1 b_1 b1​的表达式，有
b = b 1 = b 1 o l d − E 1 o l d + y 1 ( α 1 o l d − α 1 ) K 11 + y 2 ( α 2 o l d − α 2 ) K 12 b=b_1=b_1^{old}-E_1^{old}+y_1(\alpha_1^{old}-\alpha_1)K_{11}+y_2(\alpha_2^{old}-\alpha_2)K_{12} b=b1​=b1old​−E1old​+y1​(α1old​−α1​)K11​+y2​(α2old​−α2​)K12​
若 0 < α 2 < C 0<\alpha_2<C 0<α2​<C，可知 x 2 x_2 x2​是支持向量，与上述同理，有
b = b 2 = b 2 o l d − E 2 o l d + y 1 ( α 2 o l d − α 2 ) K 21 + y 2 ( α 2 o l d − α 2 ) K 12 b=b_2=b_2^{old}-E_2^{old}+y_1(\alpha_2^{old}-\alpha_2)K_{21}+y_2(\alpha_2^{old}-\alpha_2)K_{12} b=b2​=b2old​−E2old​+y1​(α2old​−α2​)K21​+y2​(α2old​−α2​)K12​
若 α 1 和 α 2 \alpha_1和\alpha_2 α1​和α2​都在开区间(0, C)中，即如果 x 1 和 x 2 x_1和x_2 x1​和x2​都是支持向量，则 b 1 和 b 2 b_1和b_2 b1​和b2​实际上表达的是同一个超平面的偏置，即 b = b 1 = b 2 b=b_1=b_2 b=b1​=b2​
若 α 1 和 α 2 \alpha_1和\alpha_2 α1​和α2​都在开区间(0, C)以外，则 x 1 和 x 2 x_1和x_2 x1​和x2​要么不是支持向量，要么就是软间隔引入的误分类点，此时
b = b 1 + b 2 2 b=\frac{b_1+b_2}{2} b=2b1​+b2​​

到此， α 1 ， α 2 ， b \alpha_1，\alpha_2，b α1​，α2​，b都计算完成。

等算法执行完外循环时，即可得到所有的 α \alpha α和最佳的 b b b，则可确定分类超平面。

●═══════════════════════════════我是分割线═════════════════════════════●

下面给出代码

代码基于Matlab R2018b，翻译自《机器学习实战》SVM一章的Python代码，如果存在任何不能运行的问题，请仔细检查程序中的函数用法是否匹配您所使用的Matlab版本。

简化版SMO:

clear all
close all
clc
%% 读数据
% 人工数据集
filename = '您想要测试的数据集txt文件，每一行是每一个数据点的横坐标，纵坐标和标签，标签只能是1或-1';
[dataMat, labelMat] = loadDataSet(filename);
[N, D] = size(dataMat);
% 绘图
if D == 2
    figure(1)
    indices0 = find(labelMat == -1);
    indices1 = find(labelMat == 1);
    dataMat0 = dataMat(indices0, :);
    dataMat1 = dataMat(indices1, :);
    scatter(dataMat0(:, 1), dataMat0(:, 2), 50, 'k.');
    hold on;
    scatter(dataMat1(:, 1), dataMat1(:, 2), 50, 'k+');
    hold on;
end
%% 运行简易SMO算法，执行SVM分类
% 赋超参数
kTup = {'RBF', 10}; % 线性核为'linear'，高斯核为'RBF'，10为高斯核标准差
C = 10; % 控制软间隔中误分类程度的参数，C越大，误分类越少，或软间隔越“硬”，即支持向量的位置与分类超平面越近
toler = 0.001; % 检查
maxIter = 200;
[b, alphas] = smoSimple(dataMat, labelMat, C, toler, maxIter, kTup);
% 得到支持向量
supportVectorsIndices = find(alphas > 0);
supportVectors = dataMat(supportVectorsIndices, :);
% 计算运用核函数后任意两条数据的内积kernelEval
errorCount = 0;
for i = 1: N
    kernelEval(:, i) = kernelTrans(supportVectors, dataMat(i, :), kTup);
    predict = kernelEval(:, i)' * (labelMat(supportVectorsIndices) .* alphas(supportVectorsIndices)) + b;
    if sign(predict) ~= sign(labelMat(i))
        errorCount = errorCount + 1;
    end
end
fprintf('训练误差为: %.2f%%\n', errorCount / N * 100);
% 绘图
accBound = 0.1; % 决定分类线的精度。值越小，分类线越精确，同时绘制速度越慢
plotSVM(kTup, D, dataMat, labelMat, b, alphas, supportVectors, supportVectorsIndices, accBound);

%% 生成线性可分数据集
function [feature, category]=generate_sample(step,error,b1)
aa=3*rand(1); %斜率
bb=3; %截距   
rr =error;
s=step;
x1(:,1) = -2.5:s:2.5;
n = length(x1(:,1));
x1(:,2) = aa.*x1(:,1) + bb + b1 + rr*abs(randn(n,1));
y1 = ones(n,1);
x2(:,1) =  -2.5:s:2.5;
x2(:,2) = aa.*x2(:,1) + bb - b1 - rr*abs(randn(n,1));
y2 = -ones(n,1);
feature=[x1;x2];
category=[y1;y2];
end

%% 若数据维数为2，则可绘图
function plotSVM(kTup, D, dataMat, labelMat, b, alphas, supportVectors, supportVectorsIndices, accBound)
if D == 2
    % 分类线位于所有预测值为0的数据点位置上。
    % 1、对屏幕空间的矩形范围（至少包含所有训练数据点）内的所有坐标点进行预测
    %       点与点的间隔越小，分类边界线越精确
    % 2、画出预测值为0的点
    % 3、将所有标出的点连起来，构成高维分类超平面在二维上的投影边界
    % 第2和第3步可以用contour函数直接实现
    % 构建屏幕空间坐标集合screenCorMat，第一页为X坐标，第二页为Y坐标
    screenCorX = min(dataMat(:, 1)): accBound: max(dataMat(:, 1));
    screenCorY = min(dataMat(:, 2)): accBound: max(dataMat(:, 2));
    M = length(screenCorY);
    N = length(screenCorX);
    screenCorX = repmat(screenCorX, [M , 1]);
    screenCorY = repmat(screenCorY',[1, N]);
    screenCorMat = cat(3, screenCorX, screenCorY);
    % 平铺屏幕空间所有点，便于预测
    screenCorMat = reshape(screenCorMat, [M * N, 2]);
    % 对屏幕空间所有点进行预测，得到预测结果矩阵predictCor
    for i = 1: M * N
        kernelCor(:, i) = kernelTrans(supportVectors, screenCorMat(i, :), kTup);
        predictCor(i) = kernelCor(:, i)' * (labelMat(supportVectorsIndices) .* alphas(supportVectorsIndices)) + b;
    end
    predictCor = reshape(predictCor, [M, N]);
    % 绘制预测结果为0的所有点，连起来，构成分类边界线
    figure(1), contour(screenCorX, screenCorY, predictCor, [0, 0], 'k--'); hold on;
    hold on;
    % 圈出所有支持向量
    figure(1), scatter(supportVectors(:, 1), supportVectors(:, 2), 100, 'k'); hold on;
    % 绘制出边界点所在曲线
    figure(1), contour(screenCorX, screenCorY, predictCor, [1 1], 'r--'); hold on;
    figure(1), contour(screenCorX, screenCorY, predictCor, [-1 -1], 'r--');
else
    fprintf('数据维数高于2维，无法绘图\n');
end
end

%% 读取数据函数
function [dataMat, labelMat] = loadDataSet(filename)
fid = fopen(filename);
format = [repmat('%f', [1, 3])];
data = cell2mat(textscan(fid, format));
dataMat = data(:, 1: end - 1);
labelMat = data(:, end);
end

%% 在1到m之间随机选取一个整数j
function j = selectJrand(i, m)
j = i;
while (j == i)
    j = randperm(m, 1);
end
end

%% 调整大于H或小于L的alpha，即掐头去尾
function aj = clipAlpha(aj, H, L)
% 令大于H的alpha等于H
if aj > H
    aj = H;
end
% 令小于L的alpha等于L
if aj < L
    aj = L;
end
end

%% 简化版SMO（序列最小优化）算法
function [b, alphas] = smoSimple(dataMat, labelMat, C, toler, maxIter, kTup)
b = 0;
[N, D] = size(dataMat);
alphas = zeros(N, 1);
iter = 0;
for i = 1: N
    kernalData(:, i) = kernelTrans(dataMat, dataMat(i, :), kTup);
end
while (iter < maxIter)
    alphaPairsChanged = 0; % 记录alpha已经优化的数量
    for i = 1: N
        fXi = (alphas .* labelMat)' * kernalData(:, i) + b; % fXi为预测结果
        Ei = fXi - labelMat(i); % Ei为使用alpha_i计算时的预测误差
        % 接下来的if语句判断某条数据是否符合KKT条件
        if ((labelMat(i) * Ei < -toler) && (alphas(i) < C)) || ((labelMat(i) * Ei > toler) && (alphas(i) > 0))
            % 若alpha可更改，则执行如下语句
            % 随机选一个alpha的下标j
            j = selectJrand(i, N);
            % 使用选出来的alpha_j计算预测结果fXj
            fXj = (alphas .* labelMat)' * kernalData(:, j) + b;
            Ej = fXj - labelMat(j); % Ej为使用alpha_j计算时的预测误差
            alphaIold = alphas(i);
            alphaJold = alphas(j);
            % 计算alpha_j的上下界
            if labelMat(i) ~= labelMat(j)
                L = max(0, alphas(j) - alphas(i));
                H = min(C, C + alphas(j) - alphas(i));
            else
                L = max(0, alphas(j) + alphas(i) - C);
                H = min(C, alphas(j) + alphas(i));
            end
            if L == H
                fprintf('上下界相等，跳过此步循环，不再计算alpha_j\n');
                continue;
            end
            eta = 2.0 * kernalData(i, j) - kernalData(i, i) - kernalData(j, j);
            if eta >= 0
                fprintf("eta >= 0\n");
                continue;
            end
            alphas(j) = alphas(j) - labelMat(j) * (Ei - Ej) / eta;
            alphas(j) = clipAlpha(alphas(j), H, L);
            if (abs(alphas(j) - alphaJold) < 0.00001)
                fprintf("新alpha_j与旧alpha_j没有变化，重新选alpha_i\n");
                continue;
            end
            % 至此，alpha_j计算完成
            % 根据alpha_i和alpha_j的关系式，计算alpha_i
            alphas(i) = alphaIold + labelMat(j) * labelMat(i) * (alphaJold - alphas(j));
            % 计算分类超平面的偏置
            b1 = b - Ei - labelMat(i) * (alphas(i) - alphaIold) * kernalData(i, i) - ...
                                  labelMat(j) * (alphas(j) - alphaJold) * kernalData(i, j);
            b2 = b - Ej - labelMat(i) * (alphas(i) - alphaIold) * kernalData(i, j) - ...
                                  labelMat(j) * (alphas(j) - alphaJold) * kernalData(j, j);
            if (0 < alphas(i)) && (C > alphas(i))
                b = b1;
            elseif (0 < alphas(j)) && (C > alphas(j))
                b = b2;
            else
                b = (b1 + b2) / 2;
            end
            alphaPairsChanged = alphaPairsChanged + 1;
            fprintf('迭代 %d 中，第一个alpha的序号i: %d, 改变的alpha值对: %d\n', iter, i, alphaPairsChanged);
        end
    end
    if alphaPairsChanged == 0
        iter = iter + 1;
    else
        iter = 0;
    end
    fprintf('迭代: %d\n', iter);
end
end
%% 核函数
function K = kernelTrans(X, A, kTup)
m = size(X, 1);
if ismember(kTup{1}, 'linear')
    K = X * A';
elseif ismember(kTup{1}, 'RBF')
    deltaRow = X - repmat(A, [m, 1]);
    K = exp(-sum(deltaRow .^ 2, 2) ./ (kTup{2} ^ 2));
else
    error('无法识别的核函数.');
end
end

测试分类效果

1、线性核分类

在这里插入图片描述 C = 0.01 ， 时 间 0.095 秒 C=0.01，时间0.095秒 C=0.01，时间0.095秒
在这里插入图片描述 C = 0.1 ， 时 间 0.068 秒 C=0.1，时间0.068秒 C=0.1，时间0.068秒在这里插入图片描述 C = 1 ， 时 间 0.121 秒 C=1，时间0.121秒 C=1，时间0.121秒在这里插入图片描述 C = 1000 ， 时 间 0.106 秒 C=1000，时间0.106秒 C=1000，时间0.106秒

2、非线性核分类

在这里插入图片描述 C = 1 , 高 斯 核 标 准 差 σ = 0.5 ， 时 间 0.211 秒 C=1,\quad高斯核标准差\sigma=0.5，时间0.211秒 C=1,高斯核标准差σ=0.5，时间0.211秒在这里插入图片描述 C = 1 , 高 斯 核 标 准 差 σ = 1 ， 时 间 0.202 秒 C=1,\quad高斯核标准差\sigma=1，时间0.202秒 C=1,高斯核标准差σ=1，时间0.202秒在这里插入图片描述 C = 1 , 高 斯 核 标 准 差 σ = 2 ， 时 间 0.100 秒 C=1,\quad高斯核标准差\sigma=2，时间0.100秒 C=1,高斯核标准差σ=2，时间0.100秒在这里插入图片描述 C = 1 , 高 斯 核 标 准 差 σ = 5 ， 时 间 0.169 秒 C=1,\quad高斯核标准差\sigma=5，时间0.169秒 C=1,高斯核标准差σ=5，时间0.169秒在这里插入图片描述 C = 1 , 高 斯 核 标 准 差 σ = 10 ， 时 间 0.101 秒 C=1,\quad高斯核标准差\sigma=10，时间0.101秒 C=1,高斯核标准差σ=10，时间0.101秒在这里插入图片描述 C = 1 , 高 斯 核 标 准 差 σ = 30 ， 时 间 0.097 秒 C=1,\quad高斯核标准差\sigma=30，时间0.097秒 C=1,高斯核标准差σ=30，时间0.097秒
完整版SMO：

clear all
close all
clc
%% 读数据
% 人工数据集
filename = '您想要测试的数据集txt文件，每一行是每一个数据点的横坐标，纵坐标和标签，标签只能是1或-1';
[dataMat, labelMat] = loadDataSet(filename);
[N, D] = size(dataMat);
% 绘图
if D == 2
    figure(1)
    indices0 = find(labelMat == -1);
    indices1 = find(labelMat == 1);
    dataMat0 = dataMat(indices0, :);
    dataMat1 = dataMat(indices1, :);
    scatter(dataMat0(:, 1), dataMat0(:, 2), 50, 'k.');
    hold on;
    scatter(dataMat1(:, 1), dataMat1(:, 2), 50, 'k+');
    hold on;
end

%% 使用完整版SMO --------------
% 构造一个数据结构保存重要值
tic;
kTup = {'linear', 1};
% kTup = {'linear'};
optStruct.X = dataMat;
optStruct.labelMat = labelMat;
optStruct.C = 10;
optStruct.tol = 0.0001;
optStruct.m = size(dataMat, 1);
optStruct.D = size(dataMat, 2);
optStruct.alphas = zeros(optStruct.m, 1);
optStruct.b = 0;
optStruct.eCache = zeros(optStruct.m, 2);
optStruct.K = zeros(optStruct.m); % 存储任意两条数据的内积
for i = 1: optStruct.m
    optStruct.K(:, i) = kernelTrans(optStruct.X, optStruct.X(i, :), kTup);
end
% 更新数据结构
maxIter = 40;
optStruct = smoP(optStruct, maxIter);
% 得到支持向量
supportVectorsIndices = find(optStruct.alphas > 0);
supportVectors = dataMat(supportVectorsIndices, :);
% 计算运用核函数后任意两条数据的内积kernelEval
errorCount = 0;
for i = 1: optStruct.m
    kernelEval(:, i) = kernelTrans(supportVectors, optStruct.X(i, :), kTup);
    predict = kernelEval(:, i)' * (optStruct.labelMat(supportVectorsIndices) .* optStruct.alphas(supportVectorsIndices)) + optStruct.b;
    if sign(predict) ~= sign(optStruct.labelMat(i))
        errorCount = errorCount + 1;
    end
end
fprintf('训练集误分率: %.2f%%\n', errorCount / optStruct.m * 100);
toc
% 绘图
accBound = 0.1; % 决定分类线的精度。值越小，分类线越精确，同时绘制速度越慢
plotSVM(kTup, optStruct, supportVectors, supportVectorsIndices, accBound);

%% 若数据维数为2，则可绘图
function plotSVM(kTup, oS, supportVectors, supportVectorsIndices, accBound)
if oS.D == 2
    % 分类线位于所有预测值为0的数据点位置上。
    % 1、对屏幕空间的矩形范围（至少包含所有训练数据点）内的所有坐标点进行预测
    %       点与点的间隔越小，分类边界线越精确
    % 2、画出预测值为0的点
    % 3、将所有标出的点连起来，构成高维分类超平面在二维上的投影边界
    % 第2和第3步可以用contour函数直接实现
    % 构建屏幕空间坐标集合screenCorMat，第一页为X坐标，第二页为Y坐标
    screenCorX = min(oS.X(:, 1)): accBound: max(oS.X(:, 1));
    screenCorY = min(oS.X(:, 2)): accBound: max(oS.X(:, 2));
    M = length(screenCorY);
    N = length(screenCorX);
    screenCorX = repmat(screenCorX, [M , 1]);
    screenCorY = repmat(screenCorY',[1, N]);
    screenCorMat = cat(3, screenCorX, screenCorY);
    % 平铺屏幕空间所有点，便于预测
    screenCorMat = reshape(screenCorMat, [M * N, 2]);
    % 对屏幕空间所有点进行预测，得到预测结果矩阵predictCor
    for i = 1: M * N
        kernelCor(:, i) = kernelTrans(supportVectors, screenCorMat(i, :), kTup);
        predictCor(i) = kernelCor(:, i)' * (oS.labelMat(supportVectorsIndices) .* oS.alphas(supportVectorsIndices)) + oS.b;
    end
    predictCor = reshape(predictCor, [M, N]);
    % 绘制预测结果为0的所有点，连起来，构成分类边界线
    figure(1), contour(screenCorX, screenCorY, predictCor, [0, 0], 'k--'); hold on;
    hold on;
    % 圈出所有支持向量
    figure(1), scatter(supportVectors(:, 1), supportVectors(:, 2), 100, 'k'); hold on;
    % 绘制出边界点所在曲线
    figure(1), contour(screenCorX, screenCorY, predictCor, [1 1], 'r--'); hold on;
    figure(1), contour(screenCorX, screenCorY, predictCor, [-1 -1], 'r--');
else
    fprintf('数据维数高于2维，无法绘图\n');
end
end

%% 读取数据函数
function [dataMat, labelMat] = loadDataSet(filename)
fid = fopen(filename);
format = [repmat('%f', [1, 3])];
data = cell2mat(textscan(fid, format));
dataMat = data(:, 1: end - 1);
labelMat = data(:, end);
end

%% 在1到m之间随机选取一个整数j
function j = selectJrand(i, m)
j = i;
while (j == i)
    j = randperm(m, 1);
end
end

%% 调整大于H或小于L的alpha，即掐头去尾
function aj = clipAlpha(aj, H, L)
% 令大于H的alpha等于H
if aj > H
    aj = H;
end
% 令小于L的alpha等于L
if aj < L
    aj = L;
end
end

%% ---------------------完整版SMO算法 ------------------------

%% 对于给定alpha，计算误差E
function Ek = calcEk(oS, k)
fXk = (oS.alphas .* oS.labelMat)' * oS.K(:, k) + oS.b; % 对x_k的预测值
Ek = fXk - oS.labelMat(k); % x_k的预测值与x_k的标签的误差
end

%% 选择j，保证每次优化采用最大步长
function [returnValue, Ej] = selectJ(i, oS, Ei)
maxK = -1;
maxDeltaE = 0;
Ej = 0;
oS.eCache(i, :) = [1, Ei];
% E_i=f(x_i)-y_i，即真实预测值与标签的误差，E_j同理;
% 找出在之前迭代中计算出的所有误差，即Ei和Ej
validEcacheList = find(oS.eCache(:, 1) ~= 0);
if length(validEcacheList) > 1
    % 如果之前迭代中计算好的误差多于1个
    % 则以下循环实际上是在所有误差中，找出与alpha_i的误差Ei相差最大的alpha_j的误差Ej
    for a = 1: length(validEcacheList)
        k = validEcacheList(a);
        if k == i
            continue;
        end
        Ek = calcEk(oS, k);
        deltaE = abs(Ei - Ek);
        if deltaE > maxDeltaE
            % 如果找到的新alpha_j计算出的误差比上一次找到的alpha_j的误差更大
            % 则令新误差对应的alpha_j为找到的alpha_j
            maxK = k;
            % 则令新误差为此时更大的误差
            maxDeltaE = deltaE;
            Ej = Ek;
        end
    end
    returnValue = maxK;
    return;
else
    % 如果目前不存在1个以上的有效误差，则在所有alpha中随机选一个作为alpha_j
    % 一般会发生于某次迭代中第一次寻找alpha_j时
    j = selectJrand(i, oS.m);
    Ej = calcEk(oS, j);
    returnValue = j;
end
end

%% 计算误差值，放入缓存
function oS = updateEk(oS, k)
Ek = calcEk(oS, k);
oS.eCache(k, :) = [1, Ek];
end

%% 寻找决策边界
function [flag, oS] = innerL(i, oS)
Ei = calcEk(oS, i);
if ((oS.labelMat(i) * Ei < -oS.tol) && (oS.alphas(i) < oS.C)) || ((oS.labelMat(i) * Ei > oS.tol) && (oS.alphas(i) > 0))
    [j, Ej] = selectJ(i, oS, Ei);
    alphaIold = oS.alphas(i);
    alphaJold = oS.alphas(j);
    % 求alpha的上下界
    if oS.labelMat(i) ~= oS.labelMat(j)
        L = max(0, oS.alphas(j) - oS.alphas(i));
        H = min(oS.C, oS.C + oS.alphas(j) - oS.alphas(i));
    else
        L = max(0, oS.alphas(j) + oS.alphas(i) - oS.C);
        H = min(oS.C, oS.alphas(j) + oS.alphas(i));
    end
    if L == H
        fprintf('alpha的上界和下界相同，重新选第一个alpha\n');
        flag = 0;
        return;
    end
    eta = 2.0 * oS.K(i, j) - oS.K(i, i) - oS.K(j, j);
    if eta >= 0
        fprintf("eta >= 0\n");
        flag = 0;
        return;
    end
    oS.alphas(j) = oS.alphas(j) - oS.labelMat(j) * (Ei - Ej) / eta;
    oS.alphas(j) = clipAlpha(oS.alphas(j), H, L);
    % 更新误差缓存
    oS = updateEk(oS, j);
    if (abs(oS.alphas(j) - alphaJold) < 0.00001)
        fprintf("新alpha_j与旧alpha_j没有变化，重新选第一个alpha\n");
        flag = 0;
        return;
    end
    oS.alphas(i) = alphaIold + oS.labelMat(j) * oS.labelMat(i) * (alphaJold - oS.alphas(j));
    % 更新误差缓存
    oS = updateEk(oS, i);
    % 求分类超平面的偏置
    b1 = oS.b - Ei - oS.labelMat(i) * (oS.alphas(i) - alphaIold) * oS.K(i, i) - ...
                               oS.labelMat(j) * (oS.alphas(j) - alphaJold) * oS.K(i, j);
    b2 = oS.b - Ej - oS.labelMat(i) * (oS.alphas(i) - alphaIold) * oS.K(i, j) - ...
                               oS.labelMat(j) * (oS.alphas(j) - alphaJold) * oS.K(j, j);
    if (0 < oS.alphas(i)) && (oS.C > oS.alphas(i))
        oS.b = b1;
    elseif (0 < oS.alphas(j)) && (oS.C > oS.alphas(j))
        oS.b = b2;
    else
        oS.b = (b1 + b2) / 2;
    end
    flag = 1;
else
    flag = 0;
end
end

%% SMO
function oS = smoP(oS, maxIter)
iter = 0;
entireSet = true(1);
alphaPairsChanged = 0;
while (iter < maxIter) && ((alphaPairsChanged > 0) || entireSet)
    alphaPairsChanged = 0;
    if entireSet
        % 遍历所有值
        for i = 1: oS.m
            [value, oS] = innerL(i, oS);
            alphaPairsChanged = alphaPairsChanged + value;
        end
        fprintf('迭代 %d 中，第一个alpha的序号i: %d, 改变的alpha值对: %d\n', iter, i, alphaPairsChanged);
        iter = iter + 1;
    else
        % 找出所有在0到C之间的alpha
        nonBoundIs = find((oS.alphas > 0) .* (oS.alphas < oS.C) ~= 0);
        for a = 1: length(nonBoundIs)
            i = nonBoundIs(a);
            [value, oS] = innerL(i, oS);
            alphaPairsChanged = alphaPairsChanged + value;
            fprintf('边界alpha, 迭代: %d，第一个alpha的序号i: %d, 改变的alpha值对: %d\n', iter, i, alphaPairsChanged);
        end
        iter = iter + 1;
    end
    if entireSet
        % 遍历所有alpha，且有alpha值对发生改变后，置entireSet为假，以便于在下一次迭代中只更新不为0的alpha
        entireSet = false(1);
    elseif alphaPairsChanged == 0
        % 若没有更改的alpha值对，则置entireSet为真，即重新在所有alpha中找新的alpha值对进行优化
        entireSet = true(1);
    end
    fprintf('迭代: %d\n', iter);
end
end

%% 核函数
function K = kernelTrans(X, A, kTup)
m = size(X, 1);
if ismember(kTup{1}, 'linear')
    K = X * A';
elseif ismember(kTup{1}, 'RBF')
    deltaRow = X - repmat(A, [m, 1]);
    K = exp(-sum(deltaRow .^ 2, 2) ./ (kTup{2} ^ 2));
else
    error('核函数不识别.');
end
end

测试分类效果

1、线性核分类

在这里插入图片描述 C = 0.01 ， 时 间 0.049 秒 C=0.01，时间0.049秒 C=0.01，时间0.049秒在这里插入图片描述 C = 0.1 ， 时 间 0.042 秒 C=0.1，时间0.042秒 C=0.1，时间0.042秒
在这里插入图片描述 C = 1 ， 时 间 0.046 秒 C=1，时间0.046秒 C=1，时间0.046秒在这里插入图片描述 C = 1000 ， 时 间 0.046 秒 C=1000，时间0.046秒 C=1000，时间0.046秒

2、非线性核分类

在这里插入图片描述 C = 1 , 高 斯 核 标 准 差 σ = 0.5 ， 时 间 0.133 秒 C=1,\quad高斯核标准差\sigma=0.5，时间0.133秒 C=1,高斯核标准差σ=0.5，时间0.133秒在这里插入图片描述 C = 1 , 高 斯 核 标 准 差 σ = 1 ， 时 间 0.086 秒 C=1,\quad高斯核标准差\sigma=1，时间0.086秒 C=1,高斯核标准差σ=1，时间0.086秒

●═══════════════════════════════我是分割线═════════════════════════════●

完

阅读宋立恒《AI制胜：机器学习极简入门》第1章：机器学习概述
howard2005的专栏
10-03 6345
文章目录一、什么是机器学习二、机器学习的流程（一）数据收集（二）数据预处理（三）特征工程（四）模型构建和训练三、机器学习该如何学（一）AI时代首选Python（二）PyCharm可视化编辑器和Anaconda大礼包1、PyCharm可视化编辑器介绍2、Anaconda大礼包（三）掌握算法原理与掌握机器学习软件库同等重要（四）机器学习与深度学习的区别四、机器学分类（一）监督学习（三）无监督学习（三）强化学习五、过拟合和欠拟合（一）过拟合1、为什么发生过拟合2、降低“过拟合”的方法（1）增加训练数据（2）降低模
理解SVM的三层境界
shuimanting520的博客
05-03 4062
前言     动笔写这个支持向量机(support vector machine)是费了不少劲和困难的，原因很简单，一者这个东西本身就并不好懂，要深入学习和研究下去需花费不少时间和精力，二者这个东西也不好讲清楚，尽管网上已经有朋友写得不错了(见文末参考链接)，但在描述数学公式的时候还是显得不够。得益于同学白石的数学证明，我还是想尝试写一下，希望本文在兼顾通俗易懂的基础上，真真正正能足以成为一
smo算法matlab实现,SVM之序列最小最优化算法（SMO算法）
weixin_33648352的博客
03-27 1645
SVM回顾支持向量机(SVM)的一大特点是最大化间距(max margin)。对于如上图的二分类问题，虽然有很多线可以将左右两部分分开，但是只有中间的红线效果是最好的，因为它的可活动范围(margin)是最大的，从直观上来说很好理解。对于线性二分类问题，假设分类面为$$\begin{equation} u=\vec w \cdot \vec x-b \end{equation}$$则margin为...
svm+smo matlab程序
05-29
svm中smo程序matlab代码
SVM在MATLAB的实现——SMO
06-05
SMO算法是实现SVM的快速方法，本资源主要针对的是SVM的算法中的其中一种实现方法——SMO。SMO运用迭代的思想，一次迭代两个参数，从而使得收敛及其快速。注：请运行与阅读MYSVMEXE.m代码
smo算法优化matlab代码-Social-mimic-optimization-SMO:社交拟态优化算法及工程应用（SMO算法）
06-04
smo优化优化matlab代码SMO 社交拟态优化算法及工程应用 社会拟态优化算法和工程应用的示例 Matlab 代码（0.1 版） 您只需要在 Costfunc.m 中引入要最小化的函数。 然后输入 SMO 参数和问题参数（第 28 至 40 行）。 请在您的研究论文中参考以下期刊文章：Saeed Balochian、Hossein Baloochian，Social Mimic Optimization Algorithm and Engineering Applications，Expert Systems with Applications，2019，ISSN 0957-4174。 ()。 社会模仿优化算法及工程应用 MATLAB 代码示例（0.1 版） 优化社会模仿和工程应用的算法，将成本函数写入文件（Costfunc.m）中，仅供使用。 然后输入算法参数如人口数和问题参数如变量数和取值范围（第28至40行） 请在您的研究文章中参考以下期刊文章：()。
matlab实现smo,基于matlab的SMO实现
weixin_39623805的博客
03-22 451
这是我在机器学习课程上的作业，用matlab实现的SMO，记录一下体会。我实现了简化版SMO代码，网络上流传的大部分也都是这种思路的代码，主要参考了Peter《机器学习实战》中关于SMO算法的部分。感谢yqx老师。我自己编写的简化版代码：function [alpha,bias] = my_seqminoptSimple(training,groupIndex,C,maxIter,tol)% in...
MATLAB（1）
MM999666的博客
10-28 7600
MATLAB 第一章 MATALB基础技能 第1节 MATLAB窗口 1、语言修改 中文版：预设——MATLAB——常规 英文版：Preferences——MATLAB——General 2、布局 中文版：布局 英文版：layout 3、帮助 可以搜索一些指令 第2节 命令行 1、常用指令及格式 （1）清除操作 clc 清理命令行显示 clear 清理变量 close all 关闭所有绘图窗口 clf 清除当前图像窗口 （2）快捷键 上下键：调用之前输入过的一些命令 esc：删除刚输入的一段 （3）换行
机器学习(Machine Learning)&深度学习(Deep Learning)资料
热门推荐
weixin_30756499的博客
07-07 1万+
##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新...
SVM通俗导论 之 注释版
苏的专栏
01-19 1260
支持向量机通俗导论（理解SVM的三层境界） 作者：July 。致谢：pluskid、白石、JerryLead。 说明：本文最初写于2012年6月，而后不断反反复复修改&优化，修改次数达上百次，最后修改于2016年11月。 声明：本文于2012年便早已附上所有参考链接，并注明是篇“学习笔记”，且写明具体参考了pluskid等人的文章。文末
支持向量机（二）-序列最小最优化（SMO）算法
03-20
支持向量机是一个非常出色的二分类分类方法，这是支持向量机笔记第二篇，介绍SMO算法，使用Matlab代码。
smo算法优化matlab代码-ObjectDetection:对象检测和学习入门指南
06-04
smo算法优化matlab代码物体检测 对象检测和学习入门指南 输出 项目范围 该项目对三种不同的对象类别进行分类，即。 硬币、钥匙和Pendrive 。 它从训练图像中学习这些对象的所有特征。 然后，当提供新的测试图像进​​行测试时，它会识别它们。 如果它用其他项目误解了对象，我们总是可以加强它并改进我们的学习模型。 您需要了解的术语 SIFT For feature extraction K-means Clustering For decreasing number of features by creating Bag of Visual Words SVM Classifier (SMO Optimization) For classification of images 要详细了解这些主题，我建议您阅读以下内容： 大卫·洛 (David Lowe) 的文章 Cousera 的 Andrew-Ng 机器学习课程 在 Matlab 2015b 中编码的项目 有两个文件夹，即。 项目-CLI 和项目-GUI。 您可以将图像从 Project-GUI 复制到 Project-CLI
smo算法优化matlab代码-Spam-Classifier:垃圾邮件分类器
06-04
smo算法优化matlab代码垃圾邮件分类器 该项目包括使用 MATLAB 机器学习工具箱开发的垃圾邮件分类应用程序。 它有助于在收件箱中的各种电子邮件中对垃圾邮件进行分类。 现在，大多数电子邮件服务都提供垃圾邮件过滤器，可帮助我们保持收件箱免受垃圾邮件的侵害。 首先，我们将每封电子邮件转换为可以使用 MATLAB 处理的特征向量。然后我们对电子邮件进行预处理，然后 数据集 数据集基于 SpamAssassin 公共语料库的一个子集。 该数据集由一个词汇表、两封要训练的样本电子邮件和两封垃圾邮件组成。 spamTrain.mat 包含 4000 个垃圾邮件和非垃圾邮件的训练示例，而 spamTest.mat 包含 1000 个测试示例。 预处理 首先，我们将每封电子邮件转换为可以使用 MATLAB 处理的特征向量。然后我们对电子邮件进行预处理，然后 在processEmail.m 中，我实现了以下电子邮件预处理和规范化步骤： • 小写：整个电子邮件被转换为小写，因此忽略大写（例如，IndIcaTE 被视为与Indicate 相同）。 • 去除 HTML：从电子邮件中删除所有 HTML
SMO算法matlab实现
最新发布
08-25
SMO算法matlab实现
支持向量机回归smo的matlab实现 附带测试训练数据 效果图
03-02
支持向量机最初是作为分类模型出现的，特别是对于二分类模型有很好的表现。如果将支持向量机改装成支持向量回归机，将达到比线性回归或其他回归模型更加优秀的效果，而且不需要假设目标函数是优秀的回归模型。支持向量回归的求解仿照支持向量分类机。
smo算法matlab实现
weixin_34319640的博客
11-16 1931
看完CSDN上结构之法，算法之道的支持向量机通俗导论（理解SVM的三层境界） http://blog.csdn.net/v_july_v/article/details/7624837     参考了台湾的林智仁教授写了一个封装SVM算法的libsvm库，下载地址： http://www.csie.ntu.edu.tw/~cjlin/libsvm/，此外下载了一份libsvm的注释文档，下载地址...
支持向量机smo matlab,理解支持向量机（三）SMO算法
weixin_28813025的博客
03-26 638
在支持向量机模型的求解中，我们用到了SMO算法来求解向量α。那么什么是SMO算法？在讲SMO算法之前。我们须要先了解下面坐标上升法。1、坐标上升法如果有优化问题：W是α向量的函数。利用坐标上升法(当然，求目标函数的最小时即为坐标下降法)求解问题最优的步骤例如以下： 算法的思想为：每次仅仅考虑一个变量进行优化，将其它变量固定。这时整个函数能够看作仅仅关于该变量的函数，能够对其直接求导计算。然后继续求...
序列最小最优化算法
weixin_43327597的博客
02-24 1404
序列最小最优化算法 前面我们讲过了支持向量机的原理，将我们的问题转化为约束优化问题，但还没有提到使用什么方法求解最优化解。 事实上一般我们用SMO(序列最小最优化算法)求解最优解，最要是这个算法即使在训练样本很大的时候，仍然可以有很快的收敛速度。 SMO算法需要求解的支持向量机对偶问题如下： 上式，我们需要求解的变量就是拉格朗日乘子,每一个变量都对应一个样本;只要求解出每一个就可以得到我们...
序列最小最优化算法（SMO算法）
m0_61624005的博客
01-05 3920
前面三篇我已经谈了谈我对支持向量机的理解，推到了各类支持向量机的对偶算法，这一篇的SMO算法主要是用来解这个对偶问题：
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值