SMO算法思想

对偶问题优化

$$\begin{gathered} 原问题： \\ {\xi }_i\le 0 \\ 1+{\xi }_i-y_i(W^T\Phi (x_i)+b)\le 0 \\ 对偶问题约束： \\ {\alpha }^{\ast }\ge 0 \\ KKT条件： \\ {\alpha }_i=0或1+{\xi }_i-y_i(W^T\Phi (x_i)+b)=0 \\ 偏导（最小化）: \\ {\alpha }_i+{\beta }_i=C \end{gathered}$$

亦即

$$\begin{array}{r}{\alpha }^{\ast }=C\beta =0{\xi }_i=0或{\xi }_i\ne 0\\ 1+{\xi }_i-y_i(W^T\Phi (x_i)+b)=0\\ y_i(W^T\Phi (x_i)+b)\le 1\\ \\ \\ 0<{\alpha }^{\ast }<C{y}_i(W^T\Phi (x_i)+b)=1\\ \\ \\ {\alpha }^{\ast }=01+{\xi }_i-y_i(W^T\Phi (x_i)+b)=g(w)\le 0\\ {\beta }^{\ast }=C{\xi }_i=0\\ y_i(W^T\Phi (x_i)+b)\ge 1\end{array}$$

小结

$$\begin{array}{rl}记:& \\ & g(x)=W^T\Phi (x)+b\\ 那么：& \\ & y_{i}g(x_i)=\{\begin{array}{ll}\ge 1，& \alpha =0\\ =1,& 0<\alpha <C\\ \le 1,& \alpha =C\end{array}\end{array}$$

SMO算法思想

优化问题：
$$\begin{gathered} 最大化： \\ \theta (\alpha )=\sum _{i=1}^N{\alpha }_i-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j) \\ 限制条件： \\ \forall i=1,...,N,有0\le {\alpha }_i\le C\sum _{i=1}^N{\alpha }_i{y}_i=0 \end{gathered}$$

N个未知参数 ${\alpha }_i$， 鉴于 ${\alpha }_i$ 满足 ${\sum }_{i=1}^N{\alpha }_i{y}_i=0$,
选择其中的两个变量 ${\alpha }_1,{\alpha }_2$ 而固定其余的 $N-2$ 个变量以简化上述优化问题。

$$\begin{array}{rl}消去常量：& {\alpha }_i其中i=3,...,N\\ 最大化：& \\ {\theta }^{\prime }({\alpha }_1,{\alpha }_2)& ={\alpha }_1+{\alpha }_2\\ & -\frac{1}{2}{\alpha }_1^{2}K(x_1,x_1)-\frac{1}{2}{\alpha }_2^{2}K(x_2,x_2)\\ & -{\alpha }_1{\alpha }_2{y}_1{y}_{2}K(x_1,x_2)\\ & -\frac{1}{2}{\alpha }_1{y}_1\sum _{i=3}^N{\alpha }_i{y}_{i}K(x_1,x_i)\\ & -\frac{1}{2}{\alpha }_2{y}_2\sum _{i=3}^N{\alpha }_i{y}_{i}K(x_2,x_i)\\ s.t.:& \\ & {\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^N{\alpha }_i{y}_i=\xi \\ & 0\le {\alpha }_i\le C,i=1,2\end{array}$$

又由于 y i = { + 1 , − 1 } y_i=\lbrace+1,-1 \rbrace yi​={+1,−1} ,因此 ${\alpha }_1{y}_1+{\alpha }_2{y}_2=\xi$ 可分为以下两种情况：

鉴于此，对 ${\alpha }_1,{\alpha }_2$ 的优化问题进一步简化为沿直线的优化，实质上将对 ${\alpha }_1,{\alpha }_2$ 两个变量的优化问题简化为对 ${\alpha }_1$ 或 ${\alpha }_2$ 一个变量的优化问题。

解析优化问题

SMO算法

SMO算法

输 入 ： 训 练 集 数 据 T = { ( x 1 , x 2 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } , 其 中 x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , 精 度 ε 输 出 ： 近 似 解 α ^ 1. 取 近 似 值 α ( 0 ) = 0 , 令 k = 0 2. 选 取 优 化 变 量 α 1 ( k ) , α 2 ( k ) , 解 析 上 面 的 优 化 问 题 , 求 得 最 优 解 α 1 ( k + 1 ) , α 2 ( k + 1 ) , 更 新 α 为 α k + 1 3. 若 在 精 度 ε 的 范 围 内 满 足 停 机 条 件 ： ∑ i = 1 N α i y i = 0 , 0 ≤ α i ≤ C , i = 1 , 2 , . . . , N y i g ( x i ) { ≥ 1 , { x i ∣ α i = 0 } = 1 , { x i ∣ 0 < α i < C } ≤ 1 , { x i ∣ α i = C } 其 中 , g ( x i ) = ∑ j = 1 N α j y j K ( x j , x i ) + b 则 转 4. 否 则 令 k = k + 1 , 转 2. 4. 取 α ^ = α k + 1 输入： 训练集数据 T=\{(x_1,x_2),(x_2,y_2),...,(x_N,y_N)\} ,\\ 其中x_i \in X= R^n, y_i \in Y = \{-1,+1\},精度 \varepsilon \\ \\ 输出：近似解 \hat \alpha\\ 1.取近似值 \alpha^{(0)}=0,令k=0\\ 2.选取优化变量 \alpha_1^{(k)} , \alpha_2^{(k)}, \textcolor{red}{解析上面的优化问题,} \\求得最优解 \alpha_1^{(k+1)} , \alpha_2^{(k+1)} ,更新 \alpha 为 \alpha^{k+1}\\ 3.若在精度\varepsilon 的范围内满足停机条件：\\ \sum_{i=1}^{N}{\alpha_iy_i}=0, \quad 0 \le \alpha_i \le C, i=1,2,...,N\\ y_ig(x_i)\begin{cases} \ge1, & \lbrace x_i \enspace|\enspace\alpha_i=0\rbrace \\ =1, & \lbrace x_i \enspace|\enspace0< \alpha_i<C\rbrace \\ \le1, & \lbrace x_i \enspace|\enspace\alpha_i=C\rbrace \end{cases}\\ 其中, g(x_i)=\sum_{j=1}^{N}{\alpha_jy_jK(x_j,x_i)+b} 则转 4.否则令k=k+1,转2.\\ 4.取\hat \alpha =\alpha^{k+1} 输入：训练集数据T={(x1​,x2​),(x2​,y2​),...,(xN​,yN​)},其中xi​∈X=Rn,yi​∈Y={−1,+1},精度ε输出：近似解α^1.取近似值α(0)=0,令k=02.选取优化变量α1(k)​,α2(k)​,解析上面的优化问题,求得最优解α1(k+1)​,α2(k+1)​,更新α为αk+13.若在精度ε的范围内满足停机条件：i=1∑N​αi​yi​=0,0≤αi​≤C,i=1,2,...,Nyi​g(xi​)⎩⎪⎨⎪⎧​≥1,=1,≤1,​{xi​∣αi​=0}{xi​∣0<αi​<C}{xi​∣αi​=C}​其中,g(xi​)=j=1∑N​αj​yj​K(xj​,xi​)+b则转4.否则令k=k+1,转2.4.取α^=αk+1