SMO算法原理
在前面的算法推导过程中，都遇到了以下的优化问题：
min α 1 2 ∑ i = 1 N ∑ j = 1 N α i α j y i y j κ ( x i , x j ) − ∑ i = 1 N α i s . t . ∑ i = 1 N α i y i = 0 0 ≤ α i ≤ C , i = 1 , 2 , ⋯ , N \begin{aligned} \min_{\boldsymbol{\alpha}} \frac{1}{2} &\sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j \kappa(\mathbf{x}_i,\mathbf{x}_j) - \sum_{i=1}^N \alpha_i \\ s.t. \quad &\sum_{i=1}^N \alpha_i y_i = 0 \\ &0 \le \alpha_i \le C, \quad i=1, 2,\cdots,N \\ \end{aligned} αmin21s.t.i=1∑Nj=1∑Nαiαjyiyjκ(xi,xj)−i=1∑Nαii=1∑Nαiyi=00≤αi≤C,i=1,2,⋯,N
我们需要求出目标函数极小化对应的参数 N N N维向量 α ∗ \boldsymbol{\alpha}^* α∗。但这个优化式比较复杂，很难直接优化，一般采用启发式方法——SMO算法求解。
SMO算法基本思想
SMO每次只优化两个变量，而将其他变量视为常数。
例如，认为 α 1 \alpha_1 α1和 α 2 \alpha_2 α2是变量， α 3 , α 4 , ⋯ , α N \alpha_3,\alpha_4,\cdots,\alpha_N α3,α4,⋯,αN都是常量，那么常量都可以从目标函数中去除，优化问题变成
min α i , α 2 1 2 K 11 α 1 2 + 1 2 K 22 α 2 2 + y 1 y 2 K 12 α 1 α 2 − ( α 1 + α 2 ) + y 1 α 1 ∑ i = 3 N y i α i K i 1 + y 2 α 2 ∑ i = 3 N y i α i K i 2 s . t . α 1 y 1 + α 2 y 2 = − ∑ i = 3 N α i y i = ς 0 ≤ α i ≤ C , i = 1 , 2 , ⋯ , N \begin{aligned} \min_{\alpha_i,\alpha_2} \quad \frac{1}{2} K_{11} \alpha_1^2 + \frac{1}{2} K_{22} \alpha_2^2 +& y_1 y_2 K_{12} \alpha_1 \alpha_2 - (\alpha_1 + \alpha_2) + y_1 \alpha_1 \sum_{i=3}^N y_i \alpha_i K_{i1} + y_2 \alpha_2 \sum_{i=3}^N y_i \alpha_i K_{i2} \\ s.t. \quad &\alpha_1 y_1 + \alpha_2 y_2 = -\sum_{i=3}^N \alpha_i y_i = \varsigma \\ &0 \le \alpha_i \le C, \quad i=1, 2,\cdots,N \\ \end{aligned} αi,α2min21K11α12+21K22α22+s.t.y1y2K12α1α2−(α1+α2)+y1α1i=3∑NyiαiKi1+y2α2i=3∑NyiαiKi2α1y1+α2y2=−i=3∑Nαiyi=ς0≤αi≤C,i=1,2,⋯,N
其中 K i j = κ ( x i , x j ) K_{ij}=\kappa(\mathbf{x}_i,\mathbf{x}_j) Kij=κ(xi,xj)。由于 y 1 2 = 1 , y 2 2 = 1 y_1^2 = 1,y_2^2 = 1 y12=1,y22=1，所以目标函数里没有写上。
SMO算法目标函数的优化
首先分析约束条件
α 1 y 1 + α 2 y 2 = ς 0 ≤ α i ≤ C , i = 1 , 2 \alpha_1 y_1 + \alpha_2 y_2 = \varsigma \\ 0 \le \alpha_i \le C, \quad i=1, 2 α1y1+α2y2=ς0≤αi≤C,i=1,2
由于 y 1 , y 2 y_1,y_2 y1,y2的取值只可能为1或-1，那么 α 1 y 1 + α 2 y 2 = ς \alpha_1 y_1 + \alpha_2 y_2 = \varsigma α1y1+α2y2=ς的形式有4种：
α 1 + α 2 = ς α 1 + α 2 = − ς α 1 − α 2 = ς α 1 − α 2 = − ς \begin{aligned} &\alpha_1 + \alpha_2 = \varsigma \\ &\alpha_1 + \alpha_2 = -\varsigma \\ &\alpha_1 - \alpha_2 = \varsigma \\ &\alpha_1 - \alpha_2 = -\varsigma \end{aligned} α1+α2=ςα1+α2=−ςα1−α2=ςα1−α2=−ς
加上 0 ≤ α 1 ≤ C , 0 ≤ α 2 ≤ C 0 \le \alpha_1 \le C, 0 \le \alpha_2 \le C 0≤α1≤C,0≤α2≤C的限制，使得 α 1 , α 2 \alpha_1, \alpha_2 α1,α2取值只能在 [ 0 , C ] × [ 0 , C ] [0,C] \times [0,C] [0,C]×[0,C]的盒子内。
如上图所示， α 1 , α 2 \alpha_1, \alpha_2 α1,α2被限制在盒子里的一条线段上，其中一个变量可以被另一个变量表示，所以两个变量的优化问题变成了一个变量的优化问题，不妨考虑为变量 α 2 \alpha_2 α2的最优化问题。
我们采用的是启发式迭代法，假设上一轮迭代的解是 α 1 o l d , α 2 o l d \alpha_1^{old}, \alpha_2^{old} α1old,α2old，不受盒子约束得到的解是 α 2 n e w , u n c \alpha_2^{new,unc} α2new,unc，经过盒子约束裁剪后得到的本轮迭代解是 α 1 n e w , α 2 n e w \alpha_1^{new}, \alpha_2^{new} α1new,α2new。
α 2 n e w \alpha_2^{new} α2new必须满足上图盒子内的线段约束，假设 L L L和 H H H分别是上图中 α 2 n e w \alpha_2^{new} α2new的下边界和上边界，有
L ≤ α 2 n e w ≤ H L \le \alpha_2^{new} \le H L≤α2new≤H
-
对于 y 1 ≠ y 2 y_1 \ne y_2 y1=y2，若 ς > 0 \varsigma \gt 0 ς>0， 0 ≤ α 2 n e w ≤ C − ς 0 \le \alpha_2^{new} \le C - \varsigma 0≤α2new≤C−ς；若 ς < 0 \varsigma \lt 0 ς<0， − ς ≤ α 2 n e w ≤ C -\varsigma \le \alpha_2^{new} \le C −ς≤α2new≤C。那么
L = max ( 0 , − ς ) , H = min ( C , C − ς ) L = \max(0, -\varsigma), \quad H = \min(C, C - \varsigma) L=max(0,−ς),H=min(C,C−ς)
代入 ς = α 1 o l d − α 2 o l d \varsigma = \alpha_1^{old} - \alpha_2^{old} ς=α1old−α2old有
L = max ( 0 , α 2 o l d − α 1 o l d ) , H = min ( C , C + α 2 o l d − α 1 o l d ) L = \max(0, \alpha_2^{old} - \alpha_1^{old}), \quad H = \min(C, C + \alpha_2^{old} - \alpha_1^{old}) L=max(0,α2old−α1old),H=min(C,C+α
最低0.47元/天 解锁文章
扫一扫
6469
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
