SMO算法(Sequential minimal optimization)要解决的对偶问题
maxα −12∑i=1m∑j=1mαiαjy(i)y(j)⟨x(i),x(j)⟩+∑i=1mαi max α − 1 2 ∑ i = 1 m ∑ j = 1 m α i α j y ( i ) y ( j ) ⟨ x ( i ) , x ( j ) ⟩ + ∑ i = 1 m α i
s.t. ∑i=1mαiyi=0 s.t. ∑ i = 1 m α i y i = 0
0⩽αi⩽C, i=1,...,m 0 ⩽ α i ⩽ C , i = 1 , . . . , m
该问题的收敛条件
αi=0αi=C0<αi<C⇒y(i)(wTx(i)+b)⩾1⇒y(i)(wTx(i)+b)⩽1⇒y(i)(wTx(i)+b)=1
α
i
=
0
⇒
y
(
i
)
(
w
T
x
(
i
)
+
b
)
⩾
1
α
i
=
C
⇒
y
(
i
)
(
w
T
x
(
i
)
+
b
)
⩽
1
0
<
α
i
<
C
⇒
y
(
i
)
(
w
T
x
(
i
)
+
b
)
=
1
SMO算法中的“minimal”表示我们希望一次迭代改变最小数量的 αi α i ,在该算法中只需要改变2个
Coordinate ascent
坐标上升法的特点是,尽管可能需要比较多的迭代次数,但是每一步迭代的代价非常低
SMO算法采用了Coordinate ascent的思想
考虑满足约束条件的 α1,α2,...,αm α 1 , α 2 , . . . , α m ,现在我们采用Coordinate ascent的思想来完成一次迭代,假设我们固定 α2,...,αm α 2 , . . . , α m ,取 α1 α 1 进行优化,这样做可行吗?
回答是不可行,因为约束 ∑i=1mαiyi=0 ∑ i = 1 m α i y i = 0 始终是存在的,这意味着固定 α2,...,αm α 2 , . . . , α m ,则 α1 α 1 的取值只能是唯一的,所以不能只取 αi α i 进行优化,而应该取一对 αi α i , αj α j 进行优化
假设我们固定 α3,…,αm α 3 , … , α m ,取 α1 α 1 , α2 α 2 进行优化
则 α1y(1)+α2y(2)=ζ α 1 y ( 1 ) + α 2 y ( 2 ) = ζ
以 α1 α 1 , α2 α 2 为坐标轴,画出如下示意图

由于
α1
α
1
,
α2
α
2
需要满足下列3个条件
0⩽α1⩽C
0
⩽
α
1
⩽
C
0⩽α2⩽C
0
⩽
α
2
⩽
C
α1y(1)+α2y(2)=ζ
α
1
y
(
1
)
+
α
2
y
(
2
)
=
ζ
故 (α1,α2) ( α 1 , α 2 ) 可行的位置为图中红色线段, α1 α 1 , α2 α 2 各自可行的位置为图中绿色线段,换句话说, α1 α 1 , α2 α 2 的取值范围被各自限定在一个区间内
假设我们选取 α2 α 2 进行优化,并设 α2 α 2 可行的上下界分别为 H H 和,即 L⩽α2⩽H L ⩽ α 2 ⩽ H
首先我们利用 α1y(1)+α2y(2)=ζ α 1 y ( 1 ) + α 2 y ( 2 ) = ζ 消去 α1 α 1 ,最终得到一个只包含 α2 α 2 的式子,这个式子的最高次数为 2 2 ,可以直接套用公式求出最优解(初中就已经学过如何求二次函数的最值)
然后还需要检查 α∗2 α 2 ∗ 是否在区间 [L,H] [ L , H ] 内,如果不是,需要进行处理,得到迭代后的 αnew2 α 2 n e w ,处理方法如下
αnew2=⎧⎩⎨⎪⎪Hif α∗2>Hα∗2if L⩽α∗2⩽HLif α∗2<L(46)(47)(48) α 2 n e w = { (46) H i f α 2 ∗ > H (47) α 2 ∗ i f L ⩽ α 2 ∗ ⩽ H (48) L i f α 2 ∗ < L
再利用 αnew1y(1)+αnew2y(2)=ζ α 1 n e w y ( 1 ) + α 2 n e w y ( 2 ) = ζ 求出 αnew1 α 1 n e w ,此时,本次迭代的工作完成
【重新思考】
假设参数更新前为 [αold1αold2αold3αold4⋯αoldm] [ α 1 old α 2 old α 3 old α 4 old ⋯ α m old ]
我们选择变量 α1 α 1 和 α2 α 2 进行更新
参数更新后为 [αnew1αnew2αold3αold4⋯αoldm] [ α 1 new α 2 new α 3 old α 4 old ⋯ α m old ]
那么有
αold1+αold2=−∑i=3mαoldi=ζ
α
1
old
+
α
2
old
=
−
∑
i
=
3
m
α
i
old
=
ζ
αnew1+αnew2=−∑i=3mαoldi=ζ
α
1
new
+
α
2
new
=
−
∑
i
=
3
m
α
i
old
=
ζ
为了计算 ζ ζ ,可以使用 αold1+αold2 α 1 old + α 2 old 计算,或者使用 −∑i=3mαoldi − ∑ i = 3 m α i old 计算,显然,计算简单的是后者
这就是为什么需要使用 αold1 α 1 old 和 αold2 α 2 old 的原因